HarpIA é uma plataforma de apoio a atividades de avaliação de grandes modelos de linguagem. Grandes modelos de linguagem estão em um processo constante e acelerado de evolução, e a prática de avaliá-los precisa também ganhar eficiência e eficácia. Para isso apresentamos a HarpIA, uma plataforma cujo objetivo é trazer produtividade, sistematização, reprodutibilidade, padronização e transparência para o processo de avaliação.
A arquitetura da plataforma é dividida em módulos e seu desenvolvimento é baseado na política de código aberto, de forma que a plataforma pode ser facilmente estendida e adaptada a necessidades particulares. Os módulos são independentes, porém compartilham interfaces de entrada e saída, e portanto podem ser usados dentro de um processo de avaliação que envolve mais de uma etapa, ou mais de um paradigma de avaliação.
Conheça a proposta de cada um dos módulos da plataforma e acompanhe o seu estágio de desenvolvimento:
“Talvez mais do que uma plataforma, o HarpIA pode ser visto como um ecossistema para avaliação de grandes modelos de linguagem.”
Equipe, 2025
O nome HarpIA faz alusão à ave harpia, o mais forte predador entre as aves. Presente no Brasil, em especial na Amazônia e na Mata Atlântica, também é encontrada em outras regiões na América do Sul. Trata-se de uma ave muito perspicaz e forte, esperta e observadora. Uma de suas características é escanear suas presas, avaliando suas características para então tomar a decisão de capturá-las.