Welcome to this repository where you can find a list of real exams from universities and code to compute their answers. The goal is to check whether an LLM can pass tests that are more similar to how we humans determine proficiency in real life.
| University | Number of Questions |
|---|---|
| Universidad Nacional de San Agustín de Arequipa (UNSA) - Ingeniería | 60 |
| Universidad Nacional de San Agustín de Arequipa (UNSA) - Sociales | 60 |
| Universidad Nacional de San Agustín de Arequipa (UNSA) - Biomédicas | 60 |
| Universidad Nacional de Ingeniería (UNI) - Matemáticas | 40 |
| Universidad Nacional de Ingeniería (UNI) - Física y Química | 40 |
| Universidad Nacional de Ingeniería (UNI) - Aptitud Académica Y Humanidades | 100 |
- Llama v2.0 (meta-llama/Llama-2-7b-chat-hf): Colab
- Llama v2.0 (meta-llama/Llama-2-7b-hf): Colab
- Llama v2.0 (Llama-2-70b-chat-hf): Colab
- Gpt-3.5-turbo (ChatGPT): API
- GPT-4: API
- Christian Ilachoque (UNSA)
- Omar U. Florez (LatinX in AI)