{"id":970,"date":"2024-05-17T16:15:19","date_gmt":"2024-05-17T18:15:19","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=970"},"modified":"2025-08-31T14:45:31","modified_gmt":"2025-08-31T16:45:31","slug":"avaliacao-de-grandes-modelos-de-linguagem","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/avaliacao-de-grandes-modelos-de-linguagem\/","title":{"rendered":"Avalia\u00e7\u00e3o de grandes modelos de linguagem"},"content":{"rendered":"
<\/h6>\n
\"\"<\/a>

Imagem gerada por IA (Copilot)<\/p><\/div>\n

A r\u00e1pida evolu\u00e7\u00e3o dos grandes modelos de linguagem e a evidente compet\u00eancia deles como modelos fundacionais e como base para a constru\u00e7\u00e3o de agentes conversacionais de prop\u00f3sito geral agu\u00e7am o desejo de pessoas e organiza\u00e7\u00f5es por us\u00e1-los em uma vasta gama de aplica\u00e7\u00f5es. O uso de modelos de linguagem tem provado ser interessante na resolu\u00e7\u00e3o de diferentes problemas que, por natureza, tem suas solu\u00e7\u00f5es baseadas no processamento de uma l\u00edngua natural.<\/p>\n

Contudo, \u00e9 exatamente quando deseja-se colocar o modelo de linguagem como o n\u00facleo de um sistema de informa\u00e7\u00e3o que atender\u00e1 a uma necessidade espec\u00edfica que nos deparamos com uma das maiores dificuldades da \u00e1rea: como atestar a qualidade do modelo. A tarefa de consistentemente avaliar a compet\u00eancia de um modelo de linguagem ainda \u00e9 uma quest\u00e3o em aberto. A complexidade desta tarefa aumenta quando esses modelos s\u00e3o acoplados a recursos externos como rebuscados procedimentos de engenharia de prompt e uso de contextos como suporte para formula\u00e7\u00e3o de respostas.<\/p>\n

Essa avalia\u00e7\u00e3o, quando quantitativa, \u00e9 pouco expressiva. Quando a compet\u00eancia do modelo de linguagem \u00e9 reduzida a um pequeno conjunto de n\u00fameros, embora possamos tirar conclus\u00f5es relativas entre diferentes modelos submetidos ao mesmo m\u00e9todo de avalia\u00e7\u00e3o, dificilmente conseguimos compreender em que aspectos um modelo \u00e9 melhor do que outro ou o que \u00e9 preciso melhorar. Por outro lado, quando a avalia\u00e7\u00e3o \u00e9 qualitativa, nos deparamos com problemas de custos, falta de sistematiza\u00e7\u00e3o e reprodutibilidade e dificuldades em minimizar subjetividade. Ainda, no que diz respeito a aspectos n\u00e3o funcionais de um sistema, dentro do contexto de modelos de linguagem, h\u00e1 que se preocupar com quest\u00f5es \u00e9ticas, legais, de seguran\u00e7a da informa\u00e7\u00e3o e de seguran\u00e7a de comportamento do pr\u00f3prio modelo.<\/p>\n

Nesse contexto estabelece-se um dos pontos de aten\u00e7\u00e3o do grupo KEML: o estudo de m\u00e9todos para avalia\u00e7\u00e3o de modelos de linguagem. Os esfor\u00e7os do grupo est\u00e3o voltados para duas frentes:<\/p>\n