{"id":1862,"date":"2025-03-01T21:43:00","date_gmt":"2025-03-01T23:43:00","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=1862"},"modified":"2025-05-13T19:22:56","modified_gmt":"2025-05-13T21:22:56","slug":"perguntas-frequentes","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/perguntas-frequentes\/","title":{"rendered":"Perguntas frequentes"},"content":{"rendered":"

\"\"<\/a><\/p>\n

Se voc\u00ea tem d\u00favidas, sugest\u00f5es ou cr\u00edticas sobre a plataforma HarpIA, entre em contato com a equipe KEML neste formul\u00e1rio<\/a>.<\/p>\n

    \n
  1. A plataforma HarpIA pode ser estendida livremente?<\/strong>
    \nVoc\u00ea pode estender a plataforma livremente, obedecendo \u00e0s regras de distribui\u00e7\u00e3o da     Apache V2<\/a>. Se voc\u00ea quiser que sua extens\u00e3o seja inclu\u00edda na distribui\u00e7\u00e3o da plataforma HarpIA, entre em contato com a equipe de desenvolvimento.<\/li>\n
  2. Como integro a plataforma HarpIA ao Hugging Face para usar conjuntos de dados?
    \n<\/strong>Na atual distribui\u00e7\u00e3o dos m\u00f3dulos da plataforma HarpIA, n\u00e3o \u00e9 poss\u00edvel usar conjuntos de dados externos. Vale ressaltar que as ferramentas oferecidas pela \u00a0da plataforma HarpIA focam na avalia\u00e7\u00e3o de grandes modelos de linguagem (LLMs) e, por esta raz\u00e3o, os padr\u00f5es de entrada esperados por cada ferramenta foram modelados a partir de resultados tipicamente gerados por LLMs.<\/li>\n
  3. Como fa\u00e7o para otimizar um grande modelo de linguagem usando a plataforma HarpIA?
    \n<\/strong>A plataforma HarpIA foca na avalia\u00e7\u00e3o do desempenho dos grandes modelos de linguagem (LLMs). Embora alguns m\u00f3dulos da plataforma interajam com LLMs em tempo de execu\u00e7\u00e3o, eles n\u00e3o oferecem nenhuma funcionalidade desenhada para facilitar ou suportar a otimiza\u00e7\u00e3o de LLMs. Em outras palavras, a otimiza\u00e7\u00e3o de LLMs n\u00e3o faz parte dos requisitos funcionais que plataforma HarpIA se prop\u00f5e a atender.<\/li>\n
  4. A plataforma HarpIA est\u00e1 dispon\u00edvel como um servi\u00e7o online oferecido pelo grupo KEML@C4AI?<\/strong>
    \nA disponibiliza\u00e7\u00e3o da plataforma HarpIA na forma de servi\u00e7os (SaaS) n\u00e3o est\u00e1 prevista no plano atual de vers\u00f5es. A base de c\u00f3digo da plataforma \u00e9 integralmente disponibilizada de forma p\u00fablica e os interessados devem baixar o c\u00f3digo e fazer a instala\u00e7\u00e3o em sua pr\u00f3pria infraestrutura.<\/li>\n
  5. Se eu tiver dificuldades na instala\u00e7\u00e3o de algum m\u00f3dulo da plataforma HarpIA, como consigo suporte?<\/strong>
    \nO grupo que desenvolve a plataforma HarpIA \u00e9 um grupo de pesquisa. Infelizmente, n\u00e3o temos recursos para oferecer suporte personalizado aos usu\u00e1rios. Contudo, ficaremos felizes em receber eventuais cr\u00edticas ou sugest\u00f5es que poder\u00e3o, na medida do poss\u00edvel, nos guiar na melhoria da plataforma ou da documenta\u00e7\u00e3o disponibilizada nos reposit\u00f3rios de cada m\u00f3dulo e em outros meios de divulga\u00e7\u00e3o. Se tiver cr\u00edticas ou sugest\u00f5es, voc\u00ea pode entrar em contato conosco por meio deste     formul\u00e1rio<\/a>.<\/li>\n
  6. A plataforma HarpIA \u00e9 um benchmark de avalia\u00e7\u00e3o de LLMs?<\/strong> N\u00e3o. A plataforma HarpIA busca auxiliar seus usu\u00e1rios na realiza\u00e7\u00e3o de avalia\u00e7\u00f5es de LLMs de forma sistem\u00e1tica e respons\u00e1vel. Entretanto, os resultados de uma avalia\u00e7\u00e3o gerados por meio desta plataforma s\u00e3o auto-documentados e podem ser compartilhados com outros usu\u00e1rios, que poder\u00e3o usar esses resultados como benchmarks.<\/li>\n
  7. \u00c9 poss\u00edvel testar a plataforma HarpIA fora do ambiente do Moodle?<\/strong>
    \nA plataforma HarpIA \u00e9 composta de v\u00e1rios m\u00f3dulos e apenas o m\u00f3dulo HarpIA Survey tem o Moodle server como depend\u00eancia. O m\u00f3dulo HarpIA Lab, por exemplo, n\u00e3o depende do Moodle e pode ser usado localmente tanto via linha de comando quando por interface web. Para isso, voc\u00ea precisa clonar o respectivo reposit\u00f3rio do GitHub e preparar o ambiente em sua infraestrutura.<\/li>\n
  8. Gostaria de contribuir como avaliador de LLMs. Eu posso me candidatar para isso?<\/strong>
    \nO recrutamento de pessoas para participar de uma avalia\u00e7\u00e3o de LLM com avaliadores humanos \u00e9 realizada fora do escopo do HarpIA Survey. Em outras palavras, cada pesquisador que adota o HarpIA Survey para conduzir a avalia\u00e7\u00e3o de um LLM recruta potenciais avaliadores usando ferramentas e procedimentos pr\u00f3prios. A plataforma HarpIA n\u00e3o oferece funcionalidades especificamente desenhadas para coordenar esse esfor\u00e7o de recrutamento de participantes.<\/li>\n
  9. Eu posso realizar experimentos com grandes modelos de linguagem dentro da plataforma HarpIA?<\/strong>
    \nA plataforma HarpIA se posiciona como uma ferramenta de apoio ao pesquisador que deseja realizar avalia\u00e7\u00e3o de LLMs, de forma automatizada ou envolvendo avaliadores humanos. Voc\u00ea pode integrar a plataforma HarpIA ao fluxo de trabalho de um experimento. Por exemplo, suponha que voc\u00ea quer avaliar um conjunto de LLMs otimizados para desempenhar um determinado tipo de tarefa. Primeiro, cada um dos modelos de linguagem precisa ser exposto ao conjunto de dados de teste especificado pelo pesquisador. As respostas geradas pelos LLMs devem ser organizadas em um arquivo JSON no formato esperado pela plataforma HarpIA. Deste ponto em diante, o m\u00f3dulo HarpIA Lab pode avaliar o desempenho de cada modelo segundo as m\u00e9tricas selecionadas pelo pesquisador. O resultado da avalia\u00e7\u00e3o produzida pelo m\u00f3dulo HarpIA Lab contribui com o experimento ao fornecer uma organiza\u00e7\u00e3o que fomenta a reprodutibilidade e auditoria das avalia\u00e7\u00f5es realizadas.<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"

    Se voc\u00ea tem d\u00favidas, sugest\u00f5es ou cr\u00edticas sobre a plataforma HarpIA, entre em contato com a equipe KEML neste formul\u00e1rio. A plataforma HarpIA pode ser estendida livremente? Voc\u00ea pode estender a plataforma livremente, obedecendo \u00e0s regras de distribui\u00e7\u00e3o da Apache V2. Se voc\u00ea quiser que sua extens\u00e3o seja inclu\u00edda na distribui\u00e7\u00e3o da plataforma HarpIA, entre[…]<\/a><\/p>\n","protected":false},"author":24022,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-1862","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/users\/24022"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/comments?post=1862"}],"version-history":[{"count":6,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1862\/revisions"}],"predecessor-version":[{"id":2283,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1862\/revisions\/2283"}],"wp:attachment":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/media?parent=1862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}