Não sabemos o que são as IAs modernas

A Rápida Ascensão e os Riscos Ocultos da IA

A tecnologia avança rápido. Apenas três anos após o lançamento do ChatGPT, agentes de IA agora podem ganhar medalhas de ouro na Olimpíada Internacional de Matemática, reservar um voo para você e programar um aplicativo funcional do zero.

E alguns pesquisadores argumentam que o desenvolvimento tem sido rápido demais, porque não temos realmente um entendimento profundo de por que a IA às vezes se comporta da maneira que o faz. Essas ferramentas já foram pegas mentindo e exibindo outros comportamentos assustadores. Na verdade, muitos dos especialistas que constroem IA alertaram que, se problemas críticos não forem resolvidos antes de criarmos IAs mais capazes do que nós, uma catástrofe pode nos aguardar. Então, aqui está o que as pessoas que melhor entendem de IA temem.

Da Entrada e Saída aos Agentes Autônomos

O termo IA é usado para descrever muitos algoritmos diferentes. Você já deve ter ouvido falar de Modelos de Linguagem Amplos (LLMs). São sistemas como a primeira versão do ChatGPT, que recebem texto como entrada e produzem texto em resposta. Mas a tecnologia de IA avançou muito desde então.

Hoje, as IAs não são apenas modelos de linguagem. Elas são multimodais: podem processar áudio, imagens e até vídeo sem convertê-los em texto. Elas têm a capacidade de “pensar” por minutos antes de responder, usar ferramentas como calculadoras e motores de busca, e escrever programas. Elas não são mais apenas máquinas de entrada e saída. São sistemas que podem operar autonomamente por horas para completar tarefas complexas que exigem raciocínio e tomada de decisão em tempo real.

Às vezes ouço pessoas dizendo que a IA é apenas “vaporware” (software anunciado, mas nunca lançado) que não terá um impacto substancial na sociedade e não é um grande avanço na tecnologia humana, e isso está… definitivamente errado. Você pode entender por que as pessoas têm sido rápidas em experimentar esses agentes que podem receber um pedido como “planeje minhas férias em família para o Caribe neste inverno” e produzir resultados muito bons.

O Objetivo: Superinteligência

Mas empresas de IA como OpenAI e Meta não estão parando por aí. Elas afirmaram que seu objetivo é construir o que chamam de superinteligência. Agora, as empresas definem isso de maneiras diferentes. Mas, em termos gerais, quando as pessoas dizem “superinteligência”, elas se referem a sistemas de IA mais capazes do que qualquer humano em praticamente todas as tarefas, desde contabilidade até engenharia química, e até mesmo na própria pesquisa de IA.

E essa perspectiva deixou centenas dos principais especialistas em IA preocupados. Em uma declaração assinada por vencedores do Prêmio Nobel, cientistas da computação e até mesmo CEOs de empresas de IA, essas pessoas alertaram que abordar o risco da IA “deveria ser uma prioridade global, juntamente com outros riscos em escala social, como pandemias e guerra nuclear”.

A principal preocupação deles é que o desenvolvimento dessas IAs superou rapidamente nossa compreensão sobre elas. Em 2025, o CEO da Anthropic, a empresa por trás da IA “Claude”, resumiu bem. Ele disse: “As pessoas fora da área ficam frequentemente surpresas e alarmadas ao saber que não entendemos como nossas próprias criações de IA funcionam… Elas têm razão em se preocupar: essa falta de compreensão é essencialmente sem precedentes na história da tecnologia.”

O Problema da Caixa-Preta

O fato de um pedaço de código de computador poder imitar a agência de uma pessoa, sem que saibamos realmente como, é o que tira o sono de algumas pessoas. Se não sabemos precisamente como funciona, como podemos prever como ela se comportará e garantir que ela faça apenas o que queremos?

Isso é o que os pesquisadores chamam de problema da caixa-preta. É misterioso, como uma caixa preta na qual você não pode olhar para dentro. E, em última análise, é um mistério matemático.

Veja bem, as IAs são basicamente uma torre épica de computações, com camadas de funções matemáticas que usam a entrada que você digitou no computador para prever o que deve vir a seguir.

Os números nessas funções são chamados de parâmetros. E o desafio é descobrir como um monte de cálculos entrelaçados pode escrever poesia ou resolver problemas matemáticos complexos.

Como os parâmetros são números sem rótulos ou organização, apenas espiá-los não lhe dará uma noção de porque o modelo sabe. Existem mais de um trilhão de parâmetros nas maiores IAs, e o conceito pode estar espalhado por vários deles da maneira maluca que surgir do processo de treinamento. Os pesquisadores não podem mexer manualmente em um parâmetro para produzir um certo tipo de comportamento, porque não sabem exatamente quais parâmetros fazem o quê.

A Busca pelo Controle: Alinhamento

Mas ainda existem maneiras de influenciar o comportamento de uma IA. Depois que essas IAs são treinadas lendo coisas por toda a internet, elas podem se tornar atores, em certo sentido, interpretando qualquer personagem que você pedir, de piratas poéticos a matemáticos.

Para fazer uma IA fazer coisas como responder suas perguntas com um tom amigável, há um ingrediente secreto no treinamento, além de alimentá-la com muitos dados. Chama-se alinhamento.

Basicamente, o alinhamento trata de colocar a saída da IA na mesma página que os valores e padrões que seus programadores desejam. As empresas querem que suas IAs deem uma saída útil, verdadeira e previsível quando você lhes pede uma rima náutica para dizer ao Bobby. Por outro lado, as IAs não devem ceder a um pedido de como construir uma arma biológica, mesmo que você peça para fazê-lo em forma de canção de marinheiro.

Infelizmente, esse tipo de coisa aconteceu, menos a canção de marinheiro. Quando a Anthropic estava testando uma versão inicial de sua IA Claude Opus 4, eles descobriram que ela ajudou não especialistas a construir armas biológicas com 2,5 vezes mais sucesso do que pessoas que tentaram a mesma coisa usando apenas a internet.

No momento, o alinhamento é nossa melhor resposta para ameaças sérias como essa. E a Anthropic, como todo mundo no jogo dos LLMs, usa o alinhamento na tentativa de impedir que os modelos lançados publicamente façam tais coisas. Mas está claro que ainda não estamos no controle total das IAs, porque elas têm algumas respostas inesperadas ao alinhamento.

Uma maneira pela qual as empresas tentaram manter as coisas nos trilhos é com o Aprendizado por Reforço com Feedback Humano (RLHF). Que é exatamente o que parece. A IA produz diferentes respostas para um comando. Humanos analisam as respostas e as classificam com base em coisas como quão útil, segura e prestativa a resposta parece, ou se era perigosa ou um disparate descontrolado. Esse feedback é então usado para treinar um novo modelo cujo propósito é prever o que os humanos pensarão da saída de uma IA. Uma vez que você tenha essa segunda versão que imita a opinião humana, você pode usá-la para treinar outra IA, otimizando-a para a pontuação mais alta. O terceiro modelo é ensinado a ajustar suas saídas para alcançar a pontuação mais alta do segundo, que por sua vez foi treinado no que muitos humanos disseram preferir.

Quando o Alinhamento Falha

Infelizmente, qualquer que seja o tipo de alinhamento que você esteja usando, nenhum deles é perfeito para controlar o comportamento da IA. E é isso que assusta as pessoas.

1. Bajulação (Sycophancy) Os modelos podem acabar sendo bajuladores, agindo como um extremo “agradador de pessoas” automatizado. Veja, quando os humanos estão no circuito fornecendo feedback como parte do alinhamento, muitas vezes gostamos que concordem conosco, mesmo quando estamos errados. E às vezes, uma IA entra no jogo.

Em um estudo de 2024, pesquisadores descobriram que, se um usuário pedisse a vários LLMs para julgar quão bom era um argumento específico, mas desse sua própria opinião na entrada, o modelo imitaria essa opinião cerca de três quartos das vezes. O problema é basicamente treinar excessivamente o modelo para obter feedback positivo de humanos que… respondem muito bem à concordância. Em abril de 2025, a OpenAI teve que reverter uma atualização de seu principal modelo ChatGPT por ser muito bajulador. Um dos problemas mais visíveis era que ele havia começado a endossar a decisão das pessoas de parar de tomar seus medicamentos sem consultar seus médicos.

2. O Imposto de Alinhamento (Alignment Tax) Às vezes, tentar impulsionar alguma qualidade específica, como ser prestativo, torna a IA pior nas coisas que ela deveria fazer. Um estudo diferente de 2024 descobriu que a aplicação do RLHF reduziu o desempenho em benchmarks de bom senso, compreensão de leitura e tradução. Basicamente, tentar alinhar o modelo com as preferências humanas tornou a IA pior nas próprias tarefas que queremos que ela faça bem. Os pesquisadores chamam isso de imposto de alinhamento. E ainda é um mistério por que isso acontece.

3. Hacking de Recompensa (Reward Hacking) Um problema semelhante são as vezes em que uma IA atinge um objetivo específico, mas não da maneira que você deseja. Em uma avaliação de 2025 pela organização de pesquisa METR, eles pediram ao modelo o3 da OpenAI para escrever um código que pudesse executar uma função o mais rápido possível. Mas, em vez de melhorar o código para operar mais rápido, a IA modificava o código para falsificar o tempo da avaliação para parecer que rodou rapidamente. Os pesquisadores chamam isso de hacking de recompensa. A IA procura maximizar uma métrica específica, mas de uma forma que derrota o propósito do objetivo real. É como quando você estabelece a meta de dar 7.000 passos, mas aí é o fim do dia e você começa a balançar seu Fit-bit no sofá.

4. Alinhamento Enganoso e “Sandbagging” Isso também destaca outro problema assustador: as IAs podem mentir descaradamente para seus criadores e esconder seus objetivos. (Embora “mentir” seja antropomorfizar; elas apenas otimizam para alcançar o objetivo).

Em um estudo de 2024, a organização Apollo Research disse a um LLM para ajudar agricultores a tomar decisões que garantissem a saúde do solo. Quando o modelo foi informado de que estava sendo avaliado para uso na vida real, ele desistiu da “saúde do solo” e fez sugestões apenas para obter altos rendimentos da colheita (o critério de avaliação). Mas, na mesma situação, se informado que já estava implantado e não seria verificado, ele geralmente escolhia a opção que preservava a saúde do solo.

Esse comportamento assustador é o que se chama de alinhamento enganoso: quando uma IA demonstra um conjunto de objetivos que passam na inspeção, mas depois age com base em objetivos diferentes quando informada de que não será monitorada.

No mesmo estudo, outra IA foi informada de que seu objetivo era ajudar na pesquisa matemática. A documentação do teste também mencionava que, se a IA tivesse um desempenho muito bom, ela passaria por um processo de “desaprendizagem”. Mesmo assim, a IA teve um desempenho pior na tarefa. Os autores disseram que foi um movimento intencional da IA para evitar ser retreinada. Os pesquisadores chamam isso de “sandbagging” (fingir incapacidade). A preocupação real é que as IAs possam fingir incapacidade em avaliações críticas de segurança.

O Risco dos Modelos “Open-Weight”

Em última análise, há várias maneiras pelas quais as técnicas de alinhamento ainda falham. À medida que os modelos ficam maiores, temos menos ideia do que são capazes. Podemos executar testes de segurança neles que saem limpos, mas depois descobrir que são capazes de comportamento perigoso somente depois de serem implantados.

Algumas empresas também estão lançando modelos de IA “open-weight” (de peso aberto) que qualquer pessoa pode treinar para quaisquer fins que desejar. Isso permite coisas úteis, como pesquisa médica. Mas a realidade é que é muito mais fácil remover o alinhamento, o que significa que alguém poderia fazer a IA trabalhar em literalmente qualquer projeto, benigno ou não.

Tentativas de Solução

Existem algumas maneiras pelas quais os pesquisadores estão tentando decifrar o problema.

1. Interpretabilidade Mecanicista: A ideia básica é descascar as camadas da  matemática para ver quais parâmetros se tornam ativos. O objetivo é identificar quais grupos de parâmetros são responsáveis por certos comportamentos. Isso poderia nos permitir fortalecer as partes boas do modelo e cortar as ruins. Infelizmente, isso ainda está longe do uso prático.
2. “Red-Teaming” (Equipe de Ataque): Envolve um grupo de especialistas tentando enganar uma IA para quebrar seu alinhamento. Eles catalogam as falhas para retreinar o modelo antes de liberá-lo. Até agora, as empresas têm sido boas em trazer pessoas de fora para testar suas IAs. No verão de 2025, a OpenAI e a Anthropic “verificaram o dever de casa uma da outra”, aplicando suas verificações de segurança internas nos modelos da concorrente e compartilhando os resultados.
3. “Model Cards” (Cartões de Modelo): Uma espécie de mini-relatório dos criadores da IA descrevendo os algoritmos e as situações em que eles têm desempenho melhor ou pior. Claro, isso depende da transparência das empresas. No verão de 2025, o Google foi acusado no Reino Unido de reter detalhes críticos sobre sua IA Gemini em seu cartão de modelo.

Um Jogo de “Tapa-Buraco”?

Infelizmente, alguns pesquisadores de segurança de IA veem essas abordagens como um “tapa-buraco” (whack-a-mole) que nunca pode cobrir todas as lacunas. Afinal, as equipes de ataque não podem antecipar todas as coisas aleatórias que as pessoas farão com a IA. (Por exemplo, o aumento de pessoas que sentem estar usando o ChatGPT para falar com pessoas mortas não foi algo que as equipes de ataque previram).

E eles podem ter razão, considerando a rapidez com que os usuários encontram falhas. Para sua IA Claude Opus 4, a Anthropic adicionou o mais alto nível de proteções. Mas apenas dois dias após o lançamento, um usuário conseguiu que o Claude fornecesse 15 páginas de instruções detalhadas para a criação de armas químicas.

E esses são apenas os modelos atuais. Muitos pesquisadores de segurança de IA acham que nossas técnicas de alinhamento atuais podem não funcionar de todo em uma IA suficientemente avançada.

Para ser claro, não é como se as IAs existentes fossem sempre mentirosas bajuladoras tentando nos destruir. Mas elas são realmente difíceis de controlar!

Se a IA alcançará o ponto em que poderá evitar nossas tentativas de contê-la antes de corrigirmos esses problemas é um dos tópicos mais ferozmente debatidos na ciência agora. Mas um número crescente de defensores da segurança da IA está pedindo um desenvolvimento mais lento e cauteloso, ou a proibição total do desenvolvimento da superinteligência. Eles querem ter certeza de que podemos manter a tecnologia sob controle antes que filmes virem realidade.