{"id":1749,"date":"2025-02-28T18:26:39","date_gmt":"2025-02-28T20:26:39","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=1749"},"modified":"2025-10-14T04:33:04","modified_gmt":"2025-10-14T06:33:04","slug":"harpia-survey","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/harpia-survey\/","title":{"rendered":"HarpIA Survey"},"content":{"rendered":"<p>O m\u00f3dulo <strong>HarpIA Survey<\/strong> \u00e9 dedicado ao suporte de avalia\u00e7\u00f5es que s\u00e3o executadas por humanos. Uma vez que o pesquisador disp\u00f5e de um grande modelo de linguagem (LLM) ativo e um grupo de avaliadores humanos, este m\u00f3dulo ajuda na realiza\u00e7\u00e3o de tarefas que s\u00e3o comumente necess\u00e1rias a condu\u00e7\u00e3o de um estudo de avalia\u00e7\u00e3o envolvendo sujeitos humanos, como:<\/p>\n<ul>\n<li>a cria\u00e7\u00e3o de uma equipe de avalia\u00e7\u00e3o, composta por um ou mais avaliadores humanos;<\/li>\n<li>a especifica\u00e7\u00e3o de tarefas de avalia\u00e7\u00e3o, incluindo a estrat\u00e9gia de engenharia de prompt que determina o comportamento geral do LLM;<\/li>\n<li>a coleta de prompts de intera\u00e7\u00e3o elaborados pelo avaliador com o objetivo de avaliar o desempenho do LLM segundo a tarefa especificada pelo pesquisador;<\/li>\n<li>a coordena\u00e7\u00e3o da submiss\u00e3o de prompts de intera\u00e7\u00e3o ao LLM sendo avaliado, bem como a apresenta\u00e7\u00e3o das respostas geradas pelo modelo ao avaliador humano;<\/li>\n<li>a coleta das respostas do avaliador humano ao question\u00e1rio especificado pelo pesquisador, cujas perguntas (vari\u00e1veis do estudo) guiam o avaliador na aprecia\u00e7\u00e3o das respostas geradas pelo modelo.<\/li>\n<\/ul>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle.jpeg\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-1766 alignleft\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-300x300.jpeg\" alt=\"\" width=\"154\" height=\"154\" srcset=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-300x300.jpeg 300w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-150x150.jpeg 150w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-768x768.jpeg 768w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-250x250.jpeg 250w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-174x174.jpeg 174w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-45x45.jpeg 45w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-200x200.jpeg 200w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle-400x400.jpeg 400w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/02\/harpia-moodle.jpeg 1024w\" sizes=\"auto, (max-width: 154px) 100vw, 154px\" \/><\/a>Este m\u00f3dulo \u00e9 constru\u00eddo sobre a plataforma <a href=\"https:\/\/moodle.org\/\">Moodle<\/a>, a qual foi customizada por meio de plugins criados pelo projeto HarpIA. A ado\u00e7\u00e3o da plataforma Moodle como base para o desenvolvimento deste m\u00f3dulo foi motivada pela possibilidade de fazer uso de suas funcionalidades nativas, como autentica\u00e7\u00e3o de usu\u00e1rios, persist\u00eancia robusta de dados e a facilidade de customiza\u00e7\u00e3o de p\u00e1ginas web que ser\u00e3o empregadas nas tarefas de avalia\u00e7\u00e3o especificadas pelo pesquisador. Essas funcionalidades reduzem o tempo necess\u00e1rio para prepara\u00e7\u00e3o da infraestrutura necess\u00e1ria para conduzir estudos com usu\u00e1rios e promovem a seguran\u00e7a dos dados coletados dos participantes. Conhe\u00e7a mais sobre este m\u00f3dulo analisando sua <a href=\"https:\/\/sites.usp.br\/keml\/harpia-arquitetura\/\">arquitetura<\/a>.<\/p>\n<p>Vale tamb\u00e9m ressaltar algumas outras caracter\u00edsticas que guiaram o desenho do HarpIA Survey:<\/p>\n<ul>\n<li><strong>familiaridade<\/strong>: o Moodle \u00e9 uma plataforma de eLearning que conta com uma extensa comunidade de usu\u00e1rios ao redor do mundo. Pesquisadores bem familiarizados com a plataforma ter\u00e3o facilidade em usar o m\u00f3dulo HarpIA Survey, ao passo que pesquisadores menos familiarizados podem enfrentar uma curva de aprendizado moderada, mas que pode ser suavizada com os in\u00fameros recursos de treinamento oferecidos de forma online e gratuita;<\/li>\n<li><strong>customiza\u00e7\u00e3o<\/strong>: as p\u00e1ginas web que ser\u00e3o apresentadas ao avaliador humano podem ser amplamente customizadas pelo pesquisador usando ferramentas nativas da plataforma Moodle, o que permite ajustar a usabilidade do website \u00e0s necessidades particulares de cada avalia\u00e7\u00e3o;<\/li>\n<li><strong>persist\u00eancia<\/strong>: todos os dados s\u00e3o salvos no banco de dados da plataforma Moodle e podem ser exportados para an\u00e1lise usando ferramentas estat\u00edsticas, copiados para replica\u00e7\u00e3o do estudo com outra popula\u00e7\u00e3o de avaliadores ou becapeados;<\/li>\n<li><strong>baixo acoplamento interno<\/strong>: o m\u00f3dulo HarpIA Survey \u00e9 composto por tr\u00eas componentes (dois plugins para a plataforma Moodle e um gateway que coordena a comunica\u00e7\u00e3o com LLMs). Esses componentes s\u00e3o relativamente independentes e se comunicam por meio de APIs bastante flex\u00edveis;<\/li>\n<li><strong>agnosticismo em rela\u00e7\u00e3o ao LLM avaliado<\/strong>: este m\u00f3dulo pode ser usado para avaliar qualquer LLM, seja ele um modelo oferecido comercialmente ou um modelo de c\u00f3digo aberto operando em infraestrutura local. Al\u00e9m disso, novos modelos podem ser facilmente incorporados, uma vez que a comunica\u00e7\u00e3o com os modelos \u00e9 feita por meio de APIs invocadas por meio de scripts em Python.<\/li>\n<\/ul>\n<hr \/>\n<p><strong>Est\u00e1gio de desenvolvimento<\/strong><\/p>\n<p>Vers\u00e3o 1:<a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/fev-25-Processo-lancamento.svg\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-2121\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/fev-25-Processo-lancamento.svg\" alt=\"\" width=\"644\" height=\"133\" \/><\/a><\/p>\n<p>Dois tipos de avalia\u00e7\u00e3o s\u00e3o poss\u00edveis nessa vers\u00e3o:<\/p>\n<ul>\n<li><a href=\"https:\/\/sites.usp.br\/keml\/harpia-survey-avaliacao-baseada-em-prompts-simples-atividade-do-tipo-1\/\">avalia\u00e7\u00e3o baseada em prompts simples<\/a> (Q&amp;A) \u2013 avalia\u00e7\u00e3o do desempenho de um LLM ao responder perguntas isoladas (cada pergunta constitui, em si, o prompt de intera\u00e7\u00e3o com o modelo);<\/li>\n<li><a href=\"https:\/\/sites.usp.br\/keml\/harpia-survey-avaliacao-baseada-em-chat-atividade-do-tipo-2\/\">avalia\u00e7\u00e3o baseada em chat<\/a> (Chat) \u2013 avalia\u00e7\u00e3o do desempenho de um LLM ao interagir com o usu\u00e1rio (cada prompt de intera\u00e7\u00e3o do usu\u00e1rio \u00e9 combinado ao hist\u00f3rico de prompts de intera\u00e7\u00e3o anteriores).<\/li>\n<\/ul>\n<p>Essencialmente, o fluxo de trabalho implementado na vers\u00e3o 1 do HarpIA Moodle \u00e9 ilustrado na figura abaixo: o pesquisador especifica a tarefa de avalia\u00e7\u00e3o na plataforma HarpIA e os avaliadores convidados realizam a avalia\u00e7\u00e3o do LLM. Ambos interagem com a plataforma de forma remota por meio de qualquer um dos navegadores web modernos, como o Chrome, Firefox, Safari ou Edge.<\/p>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/04\/fluxo-de-trabalho-harpia-survey.svg\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-2118\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/04\/fluxo-de-trabalho-harpia-survey.svg\" alt=\"\" width=\"644\" height=\"187\" \/><\/a><\/p>\n<p>Uma vez que o m\u00f3dulo HarpIA Survey esteja instalado, a tarefa de avalia\u00e7\u00e3o pode ser especificada, os avaliadores podem ser registrados e, ap\u00f3s a participa\u00e7\u00e3o dos avaliadores no estudo, os dados coletados podem ser exportados para an\u00e1lise usando ferramentas estat\u00edsticas de prefer\u00eancia do pesquisador. Considerando que nenhum servidor de e-mail esteja instalado (como \u00e9 o caso da distribui\u00e7\u00e3o do HarpIA Survey neste primeiro release), as credenciais de acesso \u00e0 plataforma devem ser encaminhadas manualmente para cada avaliador convidado.<\/p>\n<p>Veja um <a href=\"#harpiasurveyv1\">v\u00eddeo<\/a> sobre como as avalia\u00e7\u00f5es podem ser realizadas no HarpIA Survey v.1:<\/p>\n<div id=\"harpiasurveyv1\" style=\"margin-top: -80px; padding-top: 80px;\">\n    <iframe loading=\"lazy\" width=\"560\" height=\"315\" src=\"https:\/\/www.youtube.com\/embed\/HD0fd2Xg2e4\" frameborder=\"0\" allowfullscreen><\/iframe>\n<\/div>\n<p>&nbsp;<\/p>\n<p>Vers\u00e3o 2:<\/p>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/Processo-planejamento.svg\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-2123\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/Processo-planejamento.svg\" alt=\"\" width=\"644\" height=\"109\" \/><\/a><\/p>\n<p>Na vers\u00e3o 2, a avalia\u00e7\u00e3o do tipo Q&amp;A oferecer\u00e1 integra\u00e7\u00e3o com APIs que permitam avalia\u00e7\u00e3o de LLMs embutidos em sistemas conversacionais (chatbots), os quais s\u00e3o executados em infraestrutura independente daquela onde o m\u00f3dulo HarpIA Survey \u00e9 executado.<\/p>\n<p>Vers\u00e3o 3:<\/p>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/Processo-pesquisa.svg\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-2122\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/Processo-pesquisa.svg\" alt=\"\" width=\"644\" height=\"108\" \/><\/a><\/p>\n<p>Na vers\u00e3o 3, dois novos tipos de avalia\u00e7\u00e3o ser\u00e3o oferecidos. Eles permitir\u00e3o a intera\u00e7\u00e3o com dois LLMs ativos simultaneamente, possibilitando uma avalia\u00e7\u00e3o comparativa com base nos modos de intera\u00e7\u00e3o descritos tanto pelo tipo de avalia\u00e7\u00e3o baseada em prompt simples (Q&amp;A-comparativa) quanto no tipo de avalia\u00e7\u00e3o baseada em chat (Chat-comparativa).<\/p>\n","protected":false},"excerpt":{"rendered":"<p>O m\u00f3dulo HarpIA Survey \u00e9 dedicado ao suporte de avalia\u00e7\u00f5es que s\u00e3o executadas por humanos. Uma vez que o pesquisador disp\u00f5e de um grande modelo de linguagem (LLM) ativo e um grupo de avaliadores humanos, este m\u00f3dulo ajuda na realiza\u00e7\u00e3o de tarefas que s\u00e3o comumente necess\u00e1rias a condu\u00e7\u00e3o de um estudo de avalia\u00e7\u00e3o envolvendo sujeitos<a href=\"https:\/\/sites.usp.br\/keml\/harpia-survey\/\">[&#8230;]<\/a><\/p>\n","protected":false},"author":24022,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-1749","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1749","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/users\/24022"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/comments?post=1749"}],"version-history":[{"count":4,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1749\/revisions"}],"predecessor-version":[{"id":2442,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1749\/revisions\/2442"}],"wp:attachment":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/media?parent=1749"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}