Se você tem dúvidas, sugestões ou críticas sobre a plataforma HarpIA, entre em contato com a equipe KEML neste formulário.
- A plataforma HarpIA pode ser estendida livremente?
Você pode estender a plataforma livremente, obedecendo às regras de distribuição da Apache V2. Se você quiser que sua extensão seja incluída na distribuição da plataforma HarpIA, entre em contato com a equipe de desenvolvimento. - Como integro a plataforma HarpIA ao Hugging Face para usar conjuntos de dados?
Na atual distribuição dos módulos da plataforma HarpIA, não é possível usar conjuntos de dados externos. Vale ressaltar que as ferramentas oferecidas pela da plataforma HarpIA focam na avaliação de grandes modelos de linguagem (LLMs) e, por esta razão, os padrões de entrada esperados por cada ferramenta foram modelados a partir de resultados tipicamente gerados por LLMs. - Como faço para otimizar um grande modelo de linguagem usando a plataforma HarpIA?
A plataforma HarpIA foca na avaliação do desempenho dos grandes modelos de linguagem (LLMs). Embora alguns módulos da plataforma interajam com LLMs em tempo de execução, eles não oferecem nenhuma funcionalidade desenhada para facilitar ou suportar a otimização de LLMs. Em outras palavras, a otimização de LLMs não faz parte dos requisitos funcionais que plataforma HarpIA se propõe a atender. - A plataforma HarpIA está disponível como um serviço online oferecido pelo grupo KEML@C4AI?
A disponibilização da plataforma HarpIA na forma de serviços (SaaS) não está prevista no plano atual de versões. A base de código da plataforma é integralmente disponibilizada de forma pública e os interessados devem baixar o código e fazer a instalação em sua própria infraestrutura. - Se eu tiver dificuldades na instalação de algum módulo da plataforma HarpIA, como consigo suporte?
O grupo que desenvolve a plataforma HarpIA é um grupo de pesquisa. Infelizmente, não temos recursos para oferecer suporte personalizado aos usuários. Contudo, ficaremos felizes em receber eventuais críticas ou sugestões que poderão, na medida do possível, nos guiar na melhoria da plataforma ou da documentação disponibilizada nos repositórios de cada módulo e em outros meios de divulgação. Se tiver críticas ou sugestões, você pode entrar em contato conosco por meio deste formulário. - A plataforma HarpIA é um benchmark de avaliação de LLMs? Não. A plataforma HarpIA busca auxiliar seus usuários na realização de avaliações de LLMs de forma sistemática e responsável. Entretanto, os resultados de uma avaliação gerados por meio desta plataforma são auto-documentados e podem ser compartilhados com outros usuários, que poderão usar esses resultados como benchmarks.
- É possível testar a plataforma HarpIA fora do ambiente do Moodle?
A plataforma HarpIA é composta de vários módulos e apenas o módulo HarpIA Survey tem o Moodle server como dependência. O módulo HarpIA Lab, por exemplo, não depende do Moodle e pode ser usado localmente tanto via linha de comando quando por interface web. Para isso, você precisa clonar o respectivo repositório do GitHub e preparar o ambiente em sua infraestrutura. - Gostaria de contribuir como avaliador de LLMs. Eu posso me candidatar para isso?
O recrutamento de pessoas para participar de uma avaliação de LLM com avaliadores humanos é realizada fora do escopo do HarpIA Survey. Em outras palavras, cada pesquisador que adota o HarpIA Survey para conduzir a avaliação de um LLM recruta potenciais avaliadores usando ferramentas e procedimentos próprios. A plataforma HarpIA não oferece funcionalidades especificamente desenhadas para coordenar esse esforço de recrutamento de participantes. - Eu posso realizar experimentos com grandes modelos de linguagem dentro da plataforma HarpIA?
A plataforma HarpIA se posiciona como uma ferramenta de apoio ao pesquisador que deseja realizar avaliação de LLMs, de forma automatizada ou envolvendo avaliadores humanos. Você pode integrar a plataforma HarpIA ao fluxo de trabalho de um experimento. Por exemplo, suponha que você quer avaliar um conjunto de LLMs otimizados para desempenhar um determinado tipo de tarefa. Primeiro, cada um dos modelos de linguagem precisa ser exposto ao conjunto de dados de teste especificado pelo pesquisador. As respostas geradas pelos LLMs devem ser organizadas em um arquivo JSON no formato esperado pela plataforma HarpIA. Deste ponto em diante, o módulo HarpIA Lab pode avaliar o desempenho de cada modelo segundo as métricas selecionadas pelo pesquisador. O resultado da avaliação produzida pelo módulo HarpIA Lab contribui com o experimento ao fornecer uma organização que fomenta a reprodutibilidade e auditoria das avaliações realizadas.