Se você tem dúvidas, sugestões ou críticas sobre a plataforma HarpIA, entre em contato com a equipem KEML neste formulário.
A plataforma HarpIA pode ser estendida livremente? Você pode estender a plataforma livremente, obedecendo às regras de distribuição da MIT License. Se você quiser que sua extensão seja incluída na distribuição da plataforma HarpIA, entre em contato com a equipe de desenvolvimento.
Como acoplo a plataforma HarpIA para usar conjuntos de dados disponíveis no HuggingFace? Na atual distribuição da plataforma HarpIA, não é possível usar conjuntos de dados externos. Além disso, as funcionalidades da plataforma HarpIA são projetadas apenas para avaliar desempenho dos grandes modelos de linguagem, e por isso os padrões de entrada esperados na plataforma são principalmente modelados a partir de saídas dos grandes modelos de linguagem.
Como faço para otimizar um grande modelo de linguagem a partir da plataforma HarpIA? A plataforma HarpIA é destinada a suportar apenas a avaliação do desempenho dos grandes modelos de linguagem. Embora, em alguns módulos, grandes modelos de linguagem sejam invocados em tempo de execução da plataforma, não existe nenhuma funcionalidade para facilitar ou suportar a otimização de grandes modelos de linguagem. Otimização de grandes modelos de linguagem não faz parte dos requisitos funcionais estabelecidos para a plataforma HarpIA.
Eu posso usar a plataforma HarpIA a partir de um serviço oferecido pelo grupo KELM@C4AI? Não. Para as atuais distribuições dos módulos do HarpIA, não está prevista a disponibilização deste tipo de serviço. Todo o código associado ao HarpIA é disponibilizado publicamente e de forma totalmente aberta e os interessados devem baixar o código (ou containers) e fazer suas próprias instalações.
Se eu tiver problemas na instalação de algum módulo da plataforma HarpIA, como consigo suporte? O grupo que desenvolve o HarpIA é um grupo de pesquisa. Não há recursos para oferecimento de suporte, e cada usuário é responsável por fazer sua instalação. Contudo, o grupo ficará feliz em receber eventuais críticas que poderão, na medida do possível, suportar a melhoria da plataforma ou da documentação de suporte disponibilizada nos respectivos repositórios e meios de divulgação. Se tiver críticas ou sugestões, entre em contato neste formulário.
A plataforma HarpIA é um benchmark de avaliação de LLMs? Não. A plataforma HarpIA é uma facilitadora do trabalho sistemático e responsável de avaliação de LLMs, mas oferece uma base de comparação. Resultados de avaliação gerados e documentados a partir da plataforma podem ser organizados e disponibilizados como benchmarks pelos usuários da plataforma.
Gostaria de testar a plataforma HarpIA fora do ambiente do Moodle. É possível? Há limitações? A plataforma HarpIA é composta de vários módulos. Apenas o módulo HarpIA Survey está atrelado ao Moodle, e este não pode ser usado de forma independente do Moodle porque foi implementado como plug-ins. Os plug-ins fazer a coordenação entre a tarefa de avaliação criada no Moodle e os modelos de linguagem sob avaliação. Já o módulo HarpIA Lab pode ser usado localmente tanto via linha de comando quando por interface Web (você prcisa clonar o repositório do GitHub e preparar o ambiente em sua máquina).
Gostaria de trabalhar como avaliador, eu posso me habilitar a isso proativamente? A formação da equipe de avaliadores é realizada fora do escopo dos plug-ins que implementam o HarpIA Survey. O acesso ao ambiente de realização da tarefa de avaliação depende da instalação da plataforma Moodle que o usuário possui. Cada usuário forma a equipe com ferramental e procedimentos próprios. Na sugestão de fluxo de trabalho apresentada pela equipe de desenvolvimento, o proponente da tarefa precisa ‘inscrever’ os avaliadores e isso é feito individualmente, por avaliador, ou via uma planilha com informações sobre os avaliadores, conforme funcionalidade já disponível na plataforma Moodle.
Se você tem dúvidas, sugestões ou críticas sobre a plataforma HarpIA, entre em contato com a equipem KEML neste formulário.