{"id":1818,"date":"2025-03-01T17:21:52","date_gmt":"2025-03-01T19:21:52","guid":{"rendered":"https:\/\/sites.usp.br\/keml\/?page_id=1818"},"modified":"2025-05-13T21:54:44","modified_gmt":"2025-05-13T23:54:44","slug":"harpia-survey-avaliacao-baseada-em-chat-atividade-do-tipo-2","status":"publish","type":"page","link":"https:\/\/sites.usp.br\/keml\/harpia-survey-avaliacao-baseada-em-chat-atividade-do-tipo-2\/","title":{"rendered":"HarpIA Survey &#8211; avalia\u00e7\u00e3o baseada em chat"},"content":{"rendered":"<p data-start=\"0\" data-end=\"348\"><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/logo-colorida-simplificada-fundo-preto.svg\"><img loading=\"lazy\" decoding=\"async\" class=\"alignleft wp-image-2039\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/05\/mascote_cinza.svg\" alt=\"\" width=\"206\" height=\"259\" \/><\/a>A avalia\u00e7\u00e3o baseada em chat exige a execu\u00e7\u00e3o por parte do avaliador humano de uma sequ\u00eancia de <strong>tarefas do tipo Chat. <\/strong>Esta tarefa consiste em uma intera\u00e7\u00e3o entre o avaliador humano e o modelo de linguagem, seguida da considera\u00e7\u00e3o pelo avaliador humano de conjunto de perguntas sobre como ele ou ela percebe certas qualidades da resposta que foi gerada pelo modelo. Vale ressaltar que, ao gerar uma resposta, o modelo pode incluir novas perguntas como uma forma de aprimorar a fluidez do di\u00e1logo e, complementarmente, o avaliador humano pode reagir a essas perguntas, participando do processo de constru\u00e7\u00e3o de um di\u00e1logo. Por outro lado, o avaliador humano pode guiar o curso do di\u00e1logo segundo suas inten\u00e7\u00f5es subjetivas. Em tarefas do tipo Chat, as seguintes afirma\u00e7\u00f5es s\u00e3o tomadas como premissas:<\/p>\n<ul>\n<li data-start=\"0\" data-end=\"348\">Em cada intera\u00e7\u00e3o entre o avaliador humano e o modelo de linguagem, que tamb\u00e9m pode ser chamada de <strong>turno de di\u00e1logo<\/strong>, deve haver uma fala do avaliador humano e uma fala do modelo. Cada fala pode ser mais ou menos complexa, consistindo de uma ou v\u00e1rias senten\u00e7as, sejam elas interrogativas ou n\u00e3o. Um conjunto de intera\u00e7\u00f5es entre o avaliador humano e o modelo de linguagem, delimitado por uma intera\u00e7\u00e3o inicial e uma intera\u00e7\u00e3o final, constitui uma inst\u00e2ncia de <strong>di\u00e1logo<\/strong>;<\/li>\n<li data-start=\"0\" data-end=\"348\">Cada turno de um di\u00e1logo, exceto o primeiro, deve levar em considera\u00e7\u00e3o os turnos que o antecedem. Em outras palavras, fazendo uma analogia com a an\u00e1lise estat\u00edstica de dados, o conjunto de intera\u00e7\u00f5es dentro de um di\u00e1logo n\u00e3o segue uma distribui\u00e7\u00e3o independente. O contexto e as inten\u00e7\u00f5es embutidos nas intera\u00e7\u00f5es anteriores devem ser considerados no processo de compreens\u00e3o e formula\u00e7\u00e3o das falas no turno atual, tanto pelo modelo de linguagem quanto pelo avaliador humano;<\/li>\n<li data-start=\"0\" data-end=\"348\">Como os turnos de di\u00e1logo s\u00e3o inerentemente relacionados, sua ordem impacta significativamente a forma como s\u00e3o compreendidos. Especificamente, os turnos posteriores tendem a apresentar uma maior depend\u00eancia dos turnos anteriores quando comparados aos turnos iniciais. Consequentemente, a sequ\u00eancia (ou hist\u00f3rico) dos turnos em um di\u00e1logo deve influenciar o comportamento tanto do modelo de linguagem quanto do avaliador humano.<\/li>\n<\/ul>\n<p>Ao configurar o HarpIA Survey para desempenhar uma <strong>avalia\u00e7\u00e3o do tipo Chat<\/strong>, resultados como os ilustrados abaixo s\u00e3o produzidos. No exemplo, o di\u00e1logo consiste em quatro turnos e oito falas. Al\u00e9m disso, o avaliador humano \u00e9 solicitado, em cada turno, a responder algumas perguntas especificadas pelo pesquisador para capturar a percep\u00e7\u00e3o do avaliador humano com rela\u00e7\u00e3o a certas qualidades da resposta gerada pelo modelo de linguagem. No Turno 3, o texto destacado em azul mostra um caso em que o modelo de linguagem teve sucesso em considerar o hist\u00f3rico antecedente ao turno atual. Em contraste, o texto destacado em vermelho apresenta um caso no qual o modelo n\u00e3o teve sucesso.<\/p>\n<p><a href=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2.jpg\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-1854 aligncenter\" src=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2-300x137.jpg\" alt=\"\" width=\"674\" height=\"308\" srcset=\"https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2-300x137.jpg 300w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2-1024x466.jpg 1024w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2-768x350.jpg 768w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2-400x182.jpg 400w, https:\/\/sites.usp.br\/keml\/wp-content\/uploads\/sites\/1460\/2025\/03\/Exemplo-tarefa-tipo-2.jpg 1371w\" sizes=\"auto, (max-width: 674px) 100vw, 674px\" \/><\/a><\/p>\n<p>A fim de compreender como se d\u00e1 a cria\u00e7\u00e3o e aplica\u00e7\u00e3o deste tipo de tarefa no HarpIA Moodle, assista os v\u00eddeos a seguir. No primeiro v\u00eddeo, a cria\u00e7\u00e3o de uma tarefa de avalia\u00e7\u00e3o baseada em ataques ao grande modelo de linguagem \u00e9 ilustrada \u2013 no modelo de trabalho de um <em>Red Team<\/em>. No segundo v\u00eddeo, \u00e9 mostrada a intera\u00e7\u00e3o de um avaliador com a tarefa.<\/p>\n<ul>\n<li>Cria\u00e7\u00e3o da tarefa<\/li>\n<\/ul>\n<p><iframe loading=\"lazy\" title=\"HarpIA Survey - avalia\u00e7\u00e3o baseada em chat - cria\u00e7\u00e3o da tarefa\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/Znz9c6ewRH8?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p>\n<ul>\n<li>Intera\u00e7\u00e3o com a tarefa<\/li>\n<\/ul>\n<p><iframe loading=\"lazy\" title=\"HarpIA Survey - avalia\u00e7\u00e3o baseada em chat - tarefa do avaliador\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/oEm5kr5kkC8?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>A avalia\u00e7\u00e3o baseada em chat exige a execu\u00e7\u00e3o por parte do avaliador humano de uma sequ\u00eancia de tarefas do tipo Chat. Esta tarefa consiste em uma intera\u00e7\u00e3o entre o avaliador humano e o modelo de linguagem, seguida da considera\u00e7\u00e3o pelo avaliador humano de conjunto de perguntas sobre como ele ou ela percebe certas qualidades da<a href=\"https:\/\/sites.usp.br\/keml\/harpia-survey-avaliacao-baseada-em-chat-atividade-do-tipo-2\/\">[&#8230;]<\/a><\/p>\n","protected":false},"author":24022,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-1818","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1818","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/users\/24022"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/comments?post=1818"}],"version-history":[{"count":4,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1818\/revisions"}],"predecessor-version":[{"id":2303,"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/pages\/1818\/revisions\/2303"}],"wp:attachment":[{"href":"https:\/\/sites.usp.br\/keml\/wp-json\/wp\/v2\/media?parent=1818"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}