Alucinação: um problema para o emprego da inteligência artificial generativa

A argumentação jurídica tem evoluído significativamente desde sua concepção tradicional como mera subsunção do fato à norma, para um entendimento mais sofisticado que envolve um processo dialético entre fato e norma. Neste contexto, o argumento de autoridade emerge como uma técnica argumentativa predominante no meio jurídico, caracterizada pelo uso de premissas baseadas em afirmações de terceiros com reconhecida preeminência sobre o assunto.

Com o advento dos grandes modelos de linguagem (LLMs) como GPT, Claude e Gemini, surge um novo desafio: a tendência destes sistemas em replicar e potencialmente alucinar argumentos de autoridade, refletindo padrões presentes em seus dados de treinamento.

Este trabalho analisa a interseção entre a tradição jurídica do argumento de autoridade e o fenômeno da alucinação em modelos de linguagem, propondo caminhos para uma argumentação mais robusta através de construções lógicas fundamentadas na tradição fregeana.

Problema da alucinação e alternativas ao argumento da autoridade

A argumentação consiste no encadeamento de premissas para que se alcance uma conclusão válida. Em termos jurídicos, a argumentação procura demonstrar a correção da conclusão, de modo que a argumentação jurídica constitui elemento fundamental da decisão judicial.

Esta técnica supera a mera aplicação mecânica da lei. Como destaca Pavcnik (1988, p. 154), “a clássica concepção do processo de ‘aplicação do direito’ (em casos concretos) baseia-se na premissa de que o aplicador deriva sua decisão jurídica integralmente do ato jurídico geral (por exemplo, da lei)”.

Esta visão tradicional da argumentação jurídica como mera subsunção do fato à norma tem sido superada por uma compreensão mais sofisticada do processo decisório. “A decisão jurídica é sempre uma síntese valorativa, quando cria, a partir do material normativo, um tipo abstrato (por exemplo legal) e, com base em um ponto de partida fático, forma o caso concreto que corresponde ao tipo abstrato” (Pavcnik, 1988, p. 156).

Na perspectiva moderna, a argumentação jurídica envolve um processo dialético entre fato e norma. Como aponta o autor, “o caminho para a decisão jurídica não é uma via de mão única; a decisão jurídica é tomada quando se constata que o caso concreto apresenta elementos que coincidem com os elementos do tipo abstrato (por exemplo legal)” (Pavcnik, 1988, p. 157).

A teoria da argumentação jurídica contribui significativamente para uma melhor fundamentação das decisões. Contudo, como alerta Pavcnik (1988, p. 165), “seria naturalmente equivocado esperar dela que possa mudar decisivamente a prática e oferecer soluções prontas para uso”. O papel da teoria é fornecer instrumentos para uma argumentação racional e metodologicamente consistente.

A decisão judicial argumentada, portanto, representa uma superação da ideologia da mera aplicação da lei, constituindo uma síntese valorativa fundamentada entre o caso concreto e a norma abstrata. Como conclui o autor, “os pontos de partida normativos podem ser arbitrários, os pontos de partida fáticos podem ser arbitrários, mas a ligação entre eles é sempre um ato responsável dos homens, através do qual o direito é criado” (Pavcnik, 1988, p. 167).

O argumento de autoridade consiste em usar em uma de suas premissas para validar a conclusão a afirmação de terceiros que possuem algum grau conhecido de preeminência sobre o assunto, seja pela notoriedade do conhecimento, seja pela posição hierárquica.

Mortari (2001) apresenta que a lógica se ocupa primariamente da análise de argumentos, investigando os princípios e métodos de inferência para determinar quando conclusões se seguem validamente de suas premissas. Neste contexto, o argumento de autoridade se configura como uma forma específica de estruturação argumentativa.

No âmbito da lógica e argumentação, Costa (apud Mortari, 2001) destaca que os argumentos podem ser analisados tanto pela sua validade formal quanto pelo seu conteúdo. O argumento de autoridade se relaciona especialmente com o aspecto do conteúdo, pois busca fundamentar suas conclusões na credibilidade de uma fonte reconhecida sobre o tema.

“É claro que nem toda afirmação ou conclusão necessita ser justificada” (Mortari, 2001, p. 6), porém quando utilizamos o argumento de autoridade, estamos buscando reforçar nossa conclusão através do respaldo de especialistas ou autoridades reconhecidas no assunto. Esta estratégia argumentativa pode ser válida quando:

1. A autoridade citada tem efetiva expertise no tema

2. Suas afirmações são precisamente relacionadas ao seu campo de conhecimento

3. Existe consenso relevante entre especialistas sobre o ponto em questão

Contudo, é importante ressaltar que mesmo argumentos baseados em autoridade precisam manter coerência lógica em sua estrutura. Como ensina Mortari (2001), a validade de um argumento depende da relação entre suas premissas e conclusão, não apenas da credibilidade isolada de uma de suas partes.

O problema da elevada alucinação argumentação jurídica com o uso dos modelos grandes de linguagem, como o GPT, o Claude e o Gemini (Bert) pode ter relação com a tradição jurídica de elevado uso do argumento da autoridade. Um primeiro ponto a se destacar é o fato de estes modelos de linguagem serem treinados de forma massiva com textos produzidos pelas pessoas que fizeram, em larga escala, o uso do argumento da autoridade. Naturalmente, por reconhecer padrões nesta forma argumentativa, tais modelos tendem, em termos probabilísticos, a replicar a técnica. Além disso, outro fator é importante. Os usuários também mantém a tradição de procurar argumentos de autoridade quando fazem uso destes modelos de linguagem artificial.

Lewis et al. (2020) destacam que uma das técnicas mais promissoras para reduzir alucinações em modelos de linguagem é a Retrieval-Augmented Generation (RAG), que combina um recuperador para buscar documentos relevantes e um gerador para formular respostas, aumentando a confiabilidade do modelo ao aproveitar conhecimento externo. No entanto, como apontam Chen et al. (2024), mesmo com o uso do RAG, não é possível eliminar completamente as alucinações, o que continua representando um desafio persistente para garantir a qualidade do conteúdo gerado por modelos.

A questão levantada sobre a tradição jurídica do argumento de autoridade encontra respaldo nas observações de Huang et al. (2023), que analisam como os modelos de linguagem podem perpetuar padrões presentes nos dados de treinamento. A alucinação em grandes modelos de linguagem frequentemente envolve a geração de conteúdo que parece plausível e segue padrões familiares, mas não é factualmente correto (Huang et al., 2023).

Wood e Forbes (2024) argumentam que o problema da alucinação em sistemas RAG está intrinsecamente ligado à forma como estes modelos processam e interpretam as informações recuperadas. Este aspecto é particularmente relevante no contexto jurídico, onde a precisão e a confiabilidade das citações são fundamentais.

A perpetuação do uso do argumento de autoridade pelos usuários pode ser compreendida através da perspectiva de Niu et al. (2023), que desenvolveram um corpus específico para análise de alucinações em sistemas RAG. Os autores observaram que os padrões de uso e as expectativas dos usuários podem influenciar significativamente o comportamento dos modelos.

Quando se argumenta mediante premissas (dados) que não tenha relação direta com o caso a ser decidido, trazendo outro caso decidido por outro tribunal, onde relações de identidade e similaridade, além da premência da corte que decide em relação àquela que procura decidir um caso novo, os modelos podem executar a tarefa argumentativa criando premissas que nem sempre podem corresponder com algo que realmente foi decidido, mas cujo teor, aspecto intrínseco, amolda-se perfeitamente com o caso a ser decidido.

Chen et al. (2023) explicam que o raciocínio dedutivo é uma capacidade fundamental que envolve a criação de argumentos logicamente válidos, onde as conclusões necessariamente decorrem das premissas. Aplicando este conceito ao contexto jurídico da argumentação por analogia, podemos observar algumas considerações importantes.

No raciocínio jurídico por analogia, quando se utilizam precedentes de outros tribunais que não têm relação direta com o caso em análise, é necessário estabelecer um rigoroso processo de identificação de similaridades relevantes. A complexidade do raciocínio dedutivo não está apenas na estrutura do argumento em si, mas também na expressão linguística desses argumentos.

A argumentação por analogia no direito exige um duplo exercício de raciocínio dedutivo: primeiro, é preciso extrair a ratio decidendi do caso paradigma; segundo, é necessário demonstrar que as circunstâncias relevantes do caso atual se enquadram naquela razão de decidir. Quando se trabalha com precedentes, não basta a mera citação, mas é fundamental uma análise estruturada que demonstre a real correlação entre os casos.

A preocupação com a correspondência entre as premissas e a realidade dos precedentes é legítima, pois o raciocínio deve ser robusto e verificável. No entanto, o aspecto mais relevante na argumentação por analogia não é a identidade perfeita entre os casos, mas sim a identidade essencial entre os elementos juridicamente relevantes.

Nesse sentido, o importante é a validade lógica do argumento construído. Se as premissas extraídas do caso paradigma, ainda que não reproduzam exatamente o precedente, capturam sua essência jurídica e se amoldam logicamente ao caso em análise, o argumento pode ser considerado válido.

Vantagens

É importante ressaltar, como apontam Saparov et al. (2024), que o raciocínio dedutivo deve ser capaz de produzir conclusões necessárias a partir das premissas estabelecidas. Na argumentação por analogia, isso significa que as premissas extraídas do precedente devem necessariamente conduzir à conclusão proposta para o caso atual.

Uma das formas de se resolver este aspecto da alucinação é pela diminuição da dependência do argumento da autoridade, favorecendo outras formas argumentativas que deem primazia às potenciais construções lógicas inerentes à linguagem, como por exemplo as construções silogísticas tradicionais e às lógicas dos predicados.

Han et al. (2024) desenvolveram um conjunto de dados chamado FOLIO (First-Order Logic Reasoning Dataset) justamente para avaliar e aprimorar a capacidade de raciocínio lógico dos modelos de linguagem. Como os autores explicam, “a lógica de primeira ordem (FOL) permite derivar fatos a partir de outros fatos” (HAN et al., 2024, p. 4).

Esta abordagem baseada em lógica formal oferece algumas vantagens importantes:

1. Estrutura de Validação: O raciocínio lógico formal possui regras claras e verificáveis, diferentemente da dependência de argumentos de autoridade que podem ser imprecisos ou incorretos.

2. Transparência do Raciocínio: Como destacam Han et al. (2024), “FOL, como forma lógica, é uma representação lógica mais explícita que sua contraparte em linguagem natural e pode ser usada como entrada para um provador FOL para obter os valores exatos de verdade para as conclusões” (p. 13).

3. Redução de Ambiguidades: Os autores enfatizam que “FOL não tem ambiguidade enquanto a ambiguidade pode ocorrer em vários níveis de PLN” (HAN et al., 2024, p. 13).

O uso de estruturas lógicas formais, como silogismos e lógica de predicados, oferece um caminho mais rigoroso para a construção de argumentos, pois:

1. Permite a verificação formal da validade dos argumentos

2. Reduz a dependência de citações e autoridades externas

3. Estabelece relações claras e verificáveis entre premissas e conclusões

4. Possibilita a identificação precisa de falhas no raciocínio

Como apontam os autores, “FOLIO apresenta um desafio para um dos modelos de linguagem mais capazes disponíveis publicamente” (HAN et al., 2024, p. 1), indicando que ainda há muito espaço para aprimoramento no raciocínio lógico dos LLMs.

A adoção de estruturas lógicas formais pode, portanto, contribuir para reduzir o problema da alucinação ao fornecer um framework mais rigoroso para a validação do raciocínio, menos dependente de referências externas e mais focado na consistência interna dos argumentos.

Frege desenvolve uma abordagem que busca superar a dependência de argumentos de autoridade através de três aspectos principais:

1. A busca por fundamentos lógicos precisos: Frege estabelece que “o método de prova mais seguro consiste, obviamente, em seguir estritamente a lógica, que, abstraindo as características particulares das coisas, apoia-se exclusivamente nas leis sobre as quais se baseia todo o conhecimento” (p. 44). Isso demonstra sua preocupação em fundamentar o conhecimento em bases lógicas rigorosas, independentes de autoridades.

2. A crítica às imperfeições da linguagem: Ele identifica que “uma parte considerável do trabalho do filósofo consiste, ou deveria consistir, numa luta contra a linguagem” (p. 218). Isto porque a linguagem comum pode levar a equívocos e depender excessivamente de autoridades estabelecidas, em vez de relações lógicas claras.

3. O desenvolvimento de uma notação conceitual precisa: Sua conceitografia (Begriffsschrift) visa justamente “expressar um conteúdo mediante sinais escritos de maneira mais clara e precisa do que seria possível por palavras” (p. 68). Esta notação permite construir argumentos puramente baseados em relações lógicas.

Frege enfatiza que o valor de verdade de uma proposição deve ser determinado por suas relações lógicas internas, não por apelo a autoridades. Como ele afirma, “um pensamento verdadeiro já era verdadeiro antes de ser apreendido por alguém” (p. 211).

Assim, sua obra representa um esforço sistemático para fundamentar o conhecimento em bases lógicas rigorosas, diminuindo a dependência de argumentos de autoridade em favor de construções lógicas precisas e verificáveis.

Isso permite uma forma de argumentação mais robusta e objetiva, baseada em relações lógicas claras que podem ser examinadas e verificadas independentemente de quem as propõe.

Conclusão

A análise desenvolvida neste trabalho evidencia a complexa relação entre a tradição jurídica do argumento de autoridade e o fenômeno da alucinação em modelos de linguagem artificial. A tendência destes modelos em replicar padrões argumentativos baseados em autoridade, combinada com as expectativas dos usuários em buscar tais argumentos, cria um ciclo que pode comprometer a confiabilidade das análises jurídicas produzidas.

A solução proposta, fundamentada na abordagem fregeana, sugere uma mudança de paradigma na argumentação jurídica, privilegiando construções lógicas rigorosas em detrimento da dependência excessiva de argumentos de autoridade.

Esta transição não apenas contribuiria para reduzir o problema da alucinação em sistemas de IA, mas também fortaleceria a qualidade e objetividade da argumentação jurídica como um todo.

A implementação de técnicas como RAG, embora promissora, deve ser complementada por uma reformulação mais fundamental na maneira como construímos e validamos argumentos jurídicos, priorizando relações lógicas verificáveis e independentes de autoridades estabelecidas.

Referências:

1. CHEN, J. et al. Benchmarking large language models in retrieval-augmented generation. In: Proceedings of the AAAI Conference on Artificial Intelligence, v. 38, p. 17754-17762, 2024.

2. CHEN, M. K.; ZHANG, X.; TAO, D. JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models. arXiv preprint arXiv:2501.14851, 2025.

3. FREGE, Gottlob. Lógica e Filosofia da Linguagem. Seleção, introdução, tradução e notas de Paulo Alcoforado. 2ª ed. São Paulo: Editora da Universidade de São Paulo, 2009.

4. HAN, S. et al. FOLIO: Natural language reasoning with first-order logic. arXiv preprint arXiv:2209.00840, 2022.

5. HAN, Simeng et al. FOLIO: Natural Language Reasoning with First-Order Logic. arXiv:2209.00840v3 [cs.CL], 2024.

6. HUANG, L. et al. A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions. ACM Transactions on Information Systems, 2023.

7. LEWIS, P. et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, v. 33, p. 9459-9474, 2020.

8. LIU, H. et al. LogiQA 2.0—an improved dataset for logical reasoning in natural language understanding. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2023.

9. MORTARI, Cezar A. Introdução à Lógica. São Paulo: Editora UNESP; Imprensa Oficial do Estado, 2001.

10. NIU, C. et al. Ragtruth: A hallucination corpus for developing trustworthy retrieval-augmented language models. arXiv preprint arXiv:2401.00396, 2023.

11. PAVCNIK, Marijan. Argumentierte Rechtsentscheidung statt Ideologie der “Rechtsanwendung”. ARSP: Archiv für Rechts- und Sozialphilosophie, v. 74, n. 2, p. 154-167, 1988.

12. SAKAGUCHI, K. et al. Winogrande: An adversarial winograd schema challenge at scale. Communications of the ACM, v. 64, n. 9, p. 99-106, 2021.

13. SAPAROV, A. et al. Testing the general deductive reasoning capacity of large language models using ood examples. Advances in Neural Information Processing Systems, v. 36, 2024.

14. TAFJORD, O.; MISHRA, B. D.; CLARK, P. Proofwriter: Generating implications, proofs, and abductive statements over natural language. arXiv preprint arXiv:2012.13048, 2020.

15. WOOD, M. C.; FORBES, A. A. 100% hallucination elimination using acurai. arXiv preprint arXiv:2412.05223, 2024.