{"id":508,"date":"2024-04-20T00:52:55","date_gmt":"2024-04-20T02:52:55","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=508"},"modified":"2024-12-22T00:25:38","modified_gmt":"2024-12-22T02:25:38","slug":"frameworks","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/frameworks\/","title":{"rendered":"Frameworks"},"content":{"rendered":"
<\/h6>\n

HarpIA<\/h3>\n
\"\"<\/a>

Imagem criada por IA (Copilot)<\/p><\/div>\n

HarpIA \u00e9 um framework para avalia\u00e7\u00e3o de grandes modelos de linguagem que est\u00e1 em fase de projeto e desenvolvimento pelo time do KEML.<\/p>\n

A ideia \u00e9 que o framework facilite a realiza\u00e7\u00e3o de avalia\u00e7\u00f5es quantitativas e qualitativas, com base em diferentes estrat\u00e9gias (indicadores e m\u00e9todos), e permita a sistematiza\u00e7\u00e3o, reprodutibilidade, padroniza\u00e7\u00e3o e transpar\u00eancia da avalia\u00e7\u00e3o.<\/p>\n

Do ponto de vista de avalia\u00e7\u00e3o quantitativa, o framework est\u00e1 sendo projetado para receber a implementa\u00e7\u00e3o de diferentes indicadores, via uma arquitetura fortemente coesa e fracamente acoplada. Ser\u00e1 esperado que diferentes pessoas possam contribuir com o rol de indicadores dispon\u00edveis, via oferecimento de implementa\u00e7\u00f5es que sigam o padr\u00e3o estabelecido no framework.<\/p>\n

Do ponto de vista qualitativo, o framework dever\u00e1 oferecer um ambiente “confort\u00e1vel” para avalia\u00e7\u00f5es humanas, com possibilidade de configura\u00e7\u00e3o da avalia\u00e7\u00e3o e implementa\u00e7\u00e3o de um fluxo de trabalho “ciente” da avalia\u00e7\u00e3o.<\/p>\n

Um dos objetivos de constru\u00e7\u00e3o do framework \u00e9 permitir algum n\u00edvel de automa\u00e7\u00e3o para execu\u00e7\u00e3o de avalia\u00e7\u00e3o para a constru\u00e7\u00e3o de procedimentos de abla\u00e7\u00e3o. Robustez estat\u00edstica e relat\u00f3rio em l\u00edngua natural tamb\u00e9m est\u00e3o nos objetivos do desenvolvimento do framework.<\/p>\n

A automa\u00e7\u00e3o de testes, embora esteja nos planos para o desenvolvimento do HarpIA, \u00e9 ainda uma quest\u00e3o em aberto, visto que defendemos que a automa\u00e7\u00e3o da avalia\u00e7\u00e3o \u00e9 efetiva quando ela segue um m\u00e9todo j\u00e1 bem estabelecido e validado. Nossa inten\u00e7\u00e3o \u00e9 propiciar o uso de m\u00e9todos de avalia\u00e7\u00e3o e valid\u00e1-los. Automatiz\u00e1-los ser\u00e1 o pr\u00f3ximo passo.<\/p>\n