{"id":228,"date":"2026-09-30T17:06:52","date_gmt":"2026-09-30T17:06:52","guid":{"rendered":"https:\/\/elfarinha.com\/?p=228"},"modified":"2026-09-30T17:08:09","modified_gmt":"2026-09-30T17:08:09","slug":"e-se-a-ia-nao-puder-verificar-aquilo-que-diz","status":"publish","type":"post","link":"https:\/\/elfarinha.com\/index.php\/2026\/09\/30\/e-se-a-ia-nao-puder-verificar-aquilo-que-diz\/","title":{"rendered":"E se a IA n\u00e3o puder verificar aquilo que diz?"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Grande parte da discuss\u00e3o actual sobre intelig\u00eancia artificial assenta numa pergunta que raramente se formula de forma expl\u00edcita: quando um modelo de linguagem nos d\u00e1 uma resposta, o que nos permite acreditar que essa resposta foi calculada, verificada ou demonstrada? Costumamos tratar as chamadas \u00abalucina\u00e7\u00f5es\u00bb como erros de informa\u00e7\u00e3o: refer\u00eancias inventadas, factos incorrectos, n\u00fameros mal calculados, afirma\u00e7\u00f5es plaus\u00edveis que n\u00e3o correspondem \u00e0 realidade. No artigo <em>Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models<\/em>, Varin Sikka e Vishal Sikka abordam o problema por outro lado. Em vez de perguntarem apenas o que o modelo sabe, procuram saber o que consegue efectivamente calcular.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Um LLM recebe uma sequ\u00eancia de tokens e produz outra, calculando a cada passo a probabilidade do token seguinte. Esse mecanismo disp\u00f5e de recursos computacionais finitos. Segundo os autores, h\u00e1 tarefas que exigem mais c\u00e1lculo do que o modelo consegue realizar nas condi\u00e7\u00f5es em que opera. Podemos, portanto, pedir-lhe uma solu\u00e7\u00e3o que ultrapassa esses recursos e receber, ainda assim, uma resposta bem formada e dita com seguran\u00e7a. O texto sai; o c\u00e1lculo necess\u00e1rio para o sustentar pode n\u00e3o ter sido feito.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pense-se numa tarefa que exige enumerar todas as combina\u00e7\u00f5es poss\u00edveis de um conjunto de elementos. O n\u00famero de combina\u00e7\u00f5es cresce exponencialmente com a dimens\u00e3o do conjunto. Para conjuntos pequenos, o modelo pode produzir uma resposta correcta. \u00c0 medida que o conjunto aumenta, por\u00e9m, torna-se mais dif\u00edcil garantir que n\u00e3o omitiu casos nem introduziu repeti\u00e7\u00f5es. Os exemplos discutidos por Sikka e Sikka, incluindo a composi\u00e7\u00e3o de tokens e a multiplica\u00e7\u00e3o de matrizes, servem para explorar essa diferen\u00e7a entre produzir uma sequ\u00eancia plaus\u00edvel e executar a computa\u00e7\u00e3o pedida.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u00abAlucina\u00e7\u00e3o\u00bb passa, assim, a designar falhas de natureza distinta. Uma resposta pode estar errada porque o modelo recuperou mal uma informa\u00e7\u00e3o ou estabeleceu uma associa\u00e7\u00e3o inadequada. Pode tamb\u00e9m falhar porque a tarefa exigia uma computa\u00e7\u00e3o que n\u00e3o foi realizada. A resposta at\u00e9 pode coincidir com a solu\u00e7\u00e3o correcta; essa coincid\u00eancia, por si s\u00f3, n\u00e3o demonstra que o modelo tenha resolvido o problema.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A distin\u00e7\u00e3o torna-se mais importante quando passamos dos modelos que respondem a perguntas para agentes que executam tarefas. Um agente pode escrever e correr c\u00f3digo, fazer reservas, tratar documentos ou interagir com outros sistemas. Se apresentar como conclu\u00edda uma opera\u00e7\u00e3o que n\u00e3o conseguiu verificar, o erro deixa de ficar circunscrito \u00e0 resposta lida por uma pessoa: pode propagar-se \u00e0s ac\u00e7\u00f5es seguintes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Seria tentador resolver o problema entregando a verifica\u00e7\u00e3o a uma segunda IA. Mas verificar nem sempre significa olhar para o resultado e reconhecer que parece certo. No <em>Traveling Salesperson Problem<\/em>, por exemplo, \u00e9 simples somar as dist\u00e2ncias de um percurso proposto; o dif\u00edcil \u00e9 garantir que n\u00e3o existe outro mais curto. Essa garantia exige uma justifica\u00e7\u00e3o que exclua alternativas melhores, e produzi-la pode ser computacionalmente exigente. Um segundo modelo que se limite a declarar \u00abverificado\u00bb n\u00e3o fornece essa justifica\u00e7\u00e3o.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A pergunta deixa ent\u00e3o de ser apenas \u00aba resposta est\u00e1 certa?\u00bb e passa a ser \u00abque opera\u00e7\u00e3o, fora da flu\u00eancia do texto, permite confirm\u00e1-la?\u00bb. Uma resposta correcta pode ter sido obtida sem um processo que assegure a sua correc\u00e7\u00e3o. Por isso, em tarefas onde o erro tem consequ\u00eancias, importa saber se h\u00e1 uma forma independente de conferir o resultado, um c\u00e1lculo reproduz\u00edvel, uma prova ou outro mecanismo adequado ao problema.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Os modelos de <em>reasoning<\/em> complicam, mas n\u00e3o eliminam, esta quest\u00e3o. Ao gerarem mais tokens interm\u00e9dios, podem decompor problemas e dedicar-lhes mais computa\u00e7\u00e3o. Isso melhora o desempenho em muitas situa\u00e7\u00f5es, mas n\u00e3o transforma automaticamente uma explica\u00e7\u00e3o extensa numa demonstra\u00e7\u00e3o. Sikka e Sikka relacionam estes limites com aquilo a que chamam <em>reasoning collapse<\/em>: a degrada\u00e7\u00e3o do desempenho quando a dimens\u00e3o ou a dificuldade de certas tarefas ultrapassa determinado ponto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A consequ\u00eancia pr\u00e1tica n\u00e3o \u00e9 deixar de usar LLM. \u00c9 distinguir os pap\u00e9is que lhes atribu\u00edmos. Podem ajudar a formular hip\u00f3teses, organizar informa\u00e7\u00e3o e propor caminhos para uma solu\u00e7\u00e3o. Quando a tarefa exige c\u00e1lculo exacto, prova ou garantias formais, a confian\u00e7a deve assentar tamb\u00e9m em ferramentas e procedimentos capazes de testar o resultado. Num agente que executa tarefas, a flu\u00eancia j\u00e1 n\u00e3o \u00e9 apenas um risco para quem l\u00ea: pode tornar-se uma ac\u00e7\u00e3o tomada sem prova suficiente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Varin Sikka e Vishal Sikka, \u00abHallucination Stations: On Some Basic Limitations of Transformer-Based Language Models\u00bb.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Grande parte da discuss\u00e3o actual sobre intelig\u00eancia artificial assenta numa pergunta que raramente se formula de forma expl\u00edcita: quando um modelo de linguagem nos d\u00e1 uma resposta, o que nos permite acreditar que essa resposta foi calculada, verificada ou demonstrada? Costumamos tratar as chamadas \u00abalucina\u00e7\u00f5es\u00bb como erros de informa\u00e7\u00e3o: refer\u00eancias inventadas, factos incorrectos, n\u00fameros mal [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":229,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[23,21],"tags":[],"class_list":["post-228","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia-artificial","category-tecnologia"],"blog_post_layout_featured_media_urls":{"thumbnail":["https:\/\/elfarinha.com\/wp-content\/uploads\/2026\/09\/generated-image-18-150x150.png",150,150,true],"full":["https:\/\/elfarinha.com\/wp-content\/uploads\/2026\/09\/generated-image-18.png",1376,768,false]},"categories_names":{"23":{"name":"Intelig\u00eancia Artificial","link":"https:\/\/elfarinha.com\/index.php\/category\/inteligencia-artificial\/"},"21":{"name":"Tecnologia","link":"https:\/\/elfarinha.com\/index.php\/category\/tecnologia\/"}},"tags_names":[],"comments_number":"0","_links":{"self":[{"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/posts\/228","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/comments?post=228"}],"version-history":[{"count":2,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/posts\/228\/revisions"}],"predecessor-version":[{"id":231,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/posts\/228\/revisions\/231"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/media\/229"}],"wp:attachment":[{"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/media?parent=228"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/categories?post=228"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/elfarinha.com\/index.php\/wp-json\/wp\/v2\/tags?post=228"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}