Projetos por ano
Resumo
In this article, we explore the potential of ChatGPT to pass the Brazilian Bar Association exam, which consists of two parts. The first part includes 80 multiple-choice, single-answer, questions, with a maximum score of 80 points. The second part comprises a procedural document, worth 5 points, and 4 open-ended questions, worth 1.25 points each, and a human expert evaluates ChatGPT’s responses, in different domains of law. All three versions of ChatGPT performed well in the multiple-choice, single-answer, questions. GPT 4 ranks the highest, achieving a score of 70% of correct answers, followed by GPT 3.5 Default with 55%, then GPT 3.5 Legacy with 53%. However, when it comes to the second part the results are not as good. In the criminal exam, GPT 4 performs the worst, while GPT 3.5 Default performs the best, with GPT 3.5 Legacy coming in a close second. Regarding the business exam, GPT 3.5 Legacy had the worst performance, while GPT 4 achieved the highest score: 5.02. Overall, all ChatGPT versions performed well in the multiple-choice questions, but their responses to open-ended questions were underwhelming.
| Idioma original | English |
|---|---|
| Título da publicação do anfitrião | Progress in Artificial Intelligence - 22nd EPIA Conference on Artificial Intelligence, EPIA 2023, Proceedings |
| Editores | Nuno Moniz, Nuno Moniz, Zita Vale, José Cascalho, Catarina Silva, Raquel Sebastião |
| Editora | Springer Science and Business Media Deutschland GmbH |
| Páginas | 131-141 |
| Número de páginas | 11 |
| ISBN (impresso) | 9783031490101 |
| DOIs | |
| Estado da publicação | Publicado - 2023 |
| Evento | 22nd EPIA Conference on Artificial Intelligence, EPIA 2023 - Faial Island Duração: 5 set. 2023 → 8 set. 2023 |
Série de publicação
| Nome | Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) |
|---|---|
| Volume | 14116 LNAI |
| ISSN (impresso) | 0302-9743 |
| ISSN (eletrónico) | 1611-3349 |
Conferência
| Conferência | 22nd EPIA Conference on Artificial Intelligence, EPIA 2023 |
|---|---|
| País/Território | Portugal |
| Cidade | Faial Island |
| Período | 5/09/23 → 8/09/23 |
Impressão digital
Mergulhe nos tópicos de investigação de “Does ChatGPT pass the Brazilian Bar exam?“. Em conjunto formam uma impressão digital única.Projetos
- 1 Ativos
-
CEID-CRCFL: Católica Research Centre for the Future of Law
Pais, S. O. (Professor Associado), Costa, A. C. R. (Professor Auxiliar Convidado), Afonso, A. (Professor Auxiliar), Ribeiro, A. T. (PI), Martins, A. A. (Professor Auxiliar Convidado), Guedes, A. (Professor Associado), Sousa, A. F. D. (Professor Auxiliar), Triunfante, A. (Professor Auxiliar), Botelho, C. S. (Professor Auxiliar), Fraipont, C. D. (Estudante), Tavares, E. (Estudante), Ferreira, A. S. (Estudante), Antunes, A. F. M. (PI), Fonseca, A. (PI), Abrantes, A. M. (Estudante), Amaro, A. E. L. (Bolseiro), Cortês, A. U. (Professor Associado), Rocha, A. (Professor Auxiliar), Baldé, A. (Estudante), Sardinha, C. (Professor Auxiliar), Lucena, C. (Estudante), Sequeira, E. V. D. (Professor Auxiliar), Ferreira-Pinto, F. A. (Professor Auxiliar), Calvão, F. (Professor Associado), Alves, F. C. (Docente Assistente Convidado), Ribeiro, G. A. (Professor Auxiliar), Matias, G. (Professor Auxiliar), Ferreira, H. P. (Estudante), Salinas, H. (Professor Auxiliar), Antunes, H. S. (Professor Associado), Sousa, I. P. D. (Docente Assistente Convidado), Costa, I. G. (Estudante), Duarte, I. T. (Bolseiro), Dalhuisen, J. (Professor Visitante), Geng, J. (Estudante), Vasconcelos, J. (Professor Associado), Gomes, J. S. (Estudante), Lopes, J. F. (Estudante), Silva, J. P. D. (Professor Auxiliar), Lopes, J. A. (Professor Associado), Moutinho, J. L. (Professor Associado), Antunes, J. E. (Professor Associado), Proença, J. C. B. (Professor Associado Convidado), Estaca, J. N. (Estudante), Domingos, J. L. (Estudante), Cunha, J. D. D. (Professor Associado), Rodrigues, J. (Estudante), Taborda, J. (Estudante), Araújo, L. (Estudante), Fábrica, L. (Professor Auxiliar), Naia, L. R. (Bolseiro), Campos, M. F. (Professor Associado), Queiroz, B. M. (Professor Auxiliar), Cunha, M. D. C. (Professor Associado), Baptista, D. (Professor Auxiliar), Ribeiro, M. D. F. (Professor Associado), Ferreira, M. E. (Professor Auxiliar), Quadros, I. (Professor Auxiliar), Tavares, M. I. (Professor Auxiliar), Campos, I. M. (Professor Auxiliar), Martins, M. D. (Professor Auxiliar), Faria, M. P. R. D. (Professor Associado), Xavier, R. (Professor Catedrático), Faria, R. L. D. (Professor Auxiliar), Rocha, V. (Professor Auxiliar), Almeida, M. A. D. (Professor Catedrático), Domingos, M. P. (Bolseiro), Rosas, M. (Docente Assistente Convidado), Portocarrero, M. (Professor Auxiliar), Rouxinol, M. (Professor Auxiliar), Alija, N. (Estudante), Silva, N. S. E. (Professor Auxiliar Convidado), Martins, P. F. (Professor Auxiliar), Pichel, P. (Docente Assistente Convidado), Cunha, P. O. (Professor Associado), Albuquerque, P. P. D. (Professor Catedrático), Marques, P. G. (Professor Auxiliar), Machete, P. (Professor Associado), Gomes, P. C. (Professor Auxiliar Convidado), Freitas, P. (Professor Auxiliar), Carvalho, R. (Professor Associado), Moreira, R. R. (Bolseiro), Andrade, R. (Docente Assistente Convidado), Morais, R. D. (Professor Catedrático), Medeiros, R. (Professor Catedrático), Duarte, R. P. (Professor Catedrático), Carvalho, C. D. O. (Professor Associado), Tavares, S. (Professor Auxiliar), Vasques, S. (Professor Associado), Venda, S. B. E. (Estudante), Maltez, S. (Bolseiro), Rendas, T. (Professor Auxiliar Convidado), Tavares, T. (Professor Auxiliar), Ventura, V. (Estudante) & Nogueira, J. F. P. (Professor Auxiliar)
1/01/20 → 31/12/24
Projeto