HarpIA é uma plataforma de apoio à avaliação de grandes modelos de linguagem (LLMs). Esses modelos estão em um processo acelerado de evolução e a prática de avaliá-los precisa acompanhar esse ritmo. A plataforma HarpIA busca contribuir para esse objetivo promovendo a produtividade, a reprodutibilidade, a padronização e a transparência do processo de avaliação.
A plataforma é composta de módulos que operam de forma independente. Cada módulo oferece um conjunto ferramentas que podem ser funcionalmente concatenadas para satisfazer diferentes requisitos de avaliação. Isso se deve ao fato de as ferramentas compartilharem interfaces de entrada e saída. Por exemplo, a saída da ferramenta de métricas do módulo HarpIA Lab servirá como a entrada da ferramenta de análise estatística ou da ferramenta para análise gráfica, também oferecidas pelo módulo HarpIA Lab. Por fim, todos os módulos da plataforma são desenvolvidos segundo uma política de código aberto, de forma que a plataforma pode ser estendida e adaptada às necessidades particulares de cada usuário.
Conheça as ferramentas oferecidas por cada módulo da plataforma e acompanhe o seu estágio de desenvolvimento:
“Talvez mais do que uma plataforma, o HarpIA pode ser visto como um ecossistema para avaliação de grandes modelos de linguagem.”
Equipe, 2025
O nome HarpIA faz alusão à ave harpia, o mais forte predador entre as aves. Presente no Brasil, em especial na Amazônia e na Mata Atlântica, também é encontrada em outras regiões na América do Sul. Trata-se de uma ave muito perspicaz e forte, esperta e observadora. Uma de suas características é escanear suas presas, avaliando suas características para então tomar a decisão de capturá-las.