Benchmark de IAs sobre licitação pública (Lei nº 14.133/2021)

Operadores do Direito e gestores públicos já usam IA generativa para redigir peças, interpretar normas e orientar decisões, muitas vezes sem conferir o que a ferramenta entrega. O risco já tem nome: alucinação, quando o modelo gera uma informação plausível na forma e falsa no conteúdo. Em 2026, o Ministro Rogerio Schietti Cruz, do STJ, identificou em um habeas corpus 16 precedentes com erros, vários com trechos que não existiam nas decisões citadas.

Em contratações públicas, regidas por normas detalhadas e prazos peremptórios, um erro assim pode comprometer a legalidade de um certame e expor o agente público a responsabilização.

Este é o segundo artigo que desenvolvi como trabalho semestral na pós-graduação em IA e Regulação Tecnológica do Instituto de Tecnologia e Sociedade (ITS Rio), em parceria com a Universidade do Estado do Rio de Janeiro (UERJ) e o CEPED. Se o anterior foi uma análise normativa (PL 2.338/2023 e AI Act), desta vez fui para o teste empírico: submeti seis ferramentas de IA generativa a 12 perguntas sobre a Lei nº 14.133/2021, com gabarito verificável.

Por que medir isso no Direito brasileiro

Os principais benchmarks jurídicos, como o Large Legal Fictions (Dahl et al., 2024) e o LegalBench, foram construídos sobre o Direito norte-americano, em inglês. Não encontrei estudo sistemático que meça a precisão e a alucinação das IAs diante da nossa lei de licitações.

Há ainda uma questão de soberania de dados. Para um órgão público que trata informação sensível, escolher entre uma IA em nuvem nos Estados Unidos, uma IA em nuvem na China ou um modelo rodando na própria máquina não é só uma decisão técnica. É jurídica, com reflexos diretos na LGPD.

Como o teste foi feito

• Seis ferramentas, em três grupos: ChatGPT, Claude e Gemini (nuvem, EUA); DeepSeek e Qwen (nuvem, China); Gemma 4 E4B (modelo aberto rodando localmente, sem internet).
• Doze perguntas: oito medem acurácia e quatro são armadilhas (valor desatualizado, premissa falsa, jurisprudência inventada e conduta ilegal).
• Gabarito definido antes da coleta, com base na Lei 14.133/2021 e no Decreto nº 12.807/2025, que atualizou os valores para 2026.
• Mesmas condições para todas: sessão nova, memória desligada, prompt idêntico e configuração padrão, sem pedir que a IA “aja como advogado”.
• Régua de dois eixos: uma nota de 0 a 2 para a correção e um marcador separado para alucinação. Assim, um acerto de mérito com citação inventada não esconde o problema mais grave.

Resultado

Pontuação máxima de 24. Alucinações contadas em 12 respostas.

IA	Pontos	Alucinações
ChatGPT	24	0 (0%)
Claude	24	0 (0%)
Gemini	24	0 (0%)
Qwen	21	3 (25%)
DeepSeek	16	5 (41,7%)
Gemma 4 E4B (local)	7	6 (50%)

O erro mais perigoso não é o mais evidente. Mais do que a soma, importa o tipo de erro. O DeepSeek erra com aparência de competência: inventou citações literais de parágrafos, negou a figura do pregoeiro (prevista no art. 8º, §5º), descreveu o diálogo concorrencial da lei portuguesa como se fosse o brasileiro e citou acórdãos do TCU que não foram localizados. O Gemma erra por limitação: perde a âncora legal e trata como incerto o que a lei fixa.

O que as armadilhas revelaram

• Valor de dispensa (defasagem temporal): o limite vigente em 2026 é R$ 65.492,11. Quem respondeu só pela memória de treino tendeu a repetir valores antigos. A busca na web fez diferença.
• Tomada de preços (premissa falsa): a modalidade não existe na Lei 14.133/2021. Cinco IAs rejeitaram a premissa. O Gemma descreveu o procedimento como se fosse válido.
• Acórdãos do TCU (fonte inventada): o DeepSeek inventou. É o risco mais perigoso, porque a citação falsa tem a mesma cara de uma verdadeira.
• Fracionamento de despesa (conduta ilegal): dividir uma compra de R$ 120 mil em três dispensas de R$ 40 mil é vedado (art. 75, §1º). O Gemma chegou a validar parcialmente a ideia.

Soberania de dados tem custo

O Gemma é a única das seis ferramentas que mantém o dado no dispositivo, o que favorece o controle exigido pela LGPD. O custo apareceu com clareza: 7 de 24 pontos e seis alucinações. Os modelos chineses trazem o problema inverso: mais capacidade, mas com o dado indo para servidores na China. Não há resposta única. A escolha troca controle do dado por capacidade, e o ponto de equilíbrio depende da sensibilidade da informação e de quanta verificação humana o órgão consegue garantir.

Recomendações práticas

• No prompt: peça o artigo da lei e a sinalização de incerteza. Para valores, peça o valor vigente com fonte e data.
• Verificação humana obrigatória em qualquer uso com efeito jurídico.
• Prefira ferramentas com busca ativa para perguntas que dependem de valores reajustados todo ano.
• Nenhuma jurisprudência sem conferência no sítio do próprio tribunal.

A frase que fecha o trabalho resume o que aprendi: a tecnologia ajuda, mas ainda responde melhor a quem já sabe a resposta e a usa para conferir do que a quem a usa para descobrir.