Alertas recentes de pesquisadores da indústria reacendem debate sobre sistemas cada vez mais autônomos; nas empresas, avanço dos agentes traz uma questão prática: até onde a IA pode agir sem intervenção humana?
A discussão sobre os limites da inteligência artificial voltou ao centro do debate tecnológico após novos alertas feitos por profissionais que atuam na própria indústria. Um dos episódios que ganhou repercussão nos últimos dias foi a saída de Jacob Coxon da Anthropic. O pesquisador, que também trabalhou na OpenAI, tornou públicas suas preocupações com a corrida pelo desenvolvimento de sistemas cada vez mais avançados e capazes de se autoaperfeiçoar.
Embora o debate internacional esteja concentrado nos riscos de modelos muito mais poderosos no futuro, uma versão menos extrema e mais imediata dessa discussão já começa a aparecer dentro das empresas. Com o avanço dos agentes de inteligência artificial, organizações passam a conectar a tecnologia a sistemas, bases de dados e processos corporativos, permitindo que ela deixe de apenas gerar respostas e passe também a executar determinadas tarefas.
A mudança altera a natureza do risco. Durante a popularização da IA generativa, boa parte das preocupações esteve concentrada em respostas incorretas, alucinações, privacidade e proteção de informações. Quando um agente recebe permissão para atuar dentro de sistemas corporativos, porém, um erro pode deixar de produzir apenas uma informação equivocada e resultar em uma ação executada dentro da operação.
Para Marcos Custódio, especialista em arquitetura digital da Webpeak, é justamente nesse momento que a discussão sobre inteligência artificial passa a envolver também arquitetura tecnológica e governança. “Uma coisa é a IA sugerir uma resposta. Outra é permitir que ela execute uma ação dentro da operação. Quando damos acesso a sistemas e dados, a pergunta deixa de ser apenas o que a inteligência artificial consegue fazer e passa a ser o que ela está autorizada a fazer”, afirma.
Na prática, diferentes agentes podem receber níveis distintos de permissão. Um sistema pode apenas consultar informações, enquanto outro pode alterar registros, interagir com ferramentas corporativas ou iniciar etapas de um processo. Quanto maior a autonomia concedida, maior a necessidade de estabelecer previamente quais ações podem ocorrer sem intervenção humana e quais exigem algum tipo de validação.
Custódio afirma que a adoção desse tipo de tecnologia deveria ser acompanhada por questões que nem sempre aparecem no início dos projetos: quais sistemas o agente poderá acessar, quais informações poderá consultar ou modificar, quais ações precisam obrigatoriamente de autorização humana, como suas decisões serão registradas e de que maneira a empresa poderá interromper sua atuação caso algo saia do previsto.
“O ponto crítico é que a autonomia não aparece de uma vez. Ela vai sendo construída pelas permissões que a empresa concede ao sistema. Sem uma arquitetura que estabeleça esses limites, uma organização pode descobrir o tamanho da autonomia que entregou à IA justamente quando precisar retomar o controle”, diz.
O chamado controle humano também ganha outra dimensão nesse cenário. A simples presença de uma etapa de aprovação não garante necessariamente supervisão efetiva quando sistemas automatizados conseguem executar centenas ou milhares de operações em uma velocidade superior à capacidade humana de acompanhamento. Por isso, mecanismos como níveis de acesso, registros das ações realizadas, restrições para operações sensíveis e formas de interrupção precisam fazer parte da própria arquitetura tecnológica.
A discussão ganha relevância porque uma das principais promessas dos agentes de IA é justamente reduzir etapas manuais e permitir que processos sejam realizados com menor intervenção humana. O desafio passa a ser equilibrar o ganho de eficiência com a definição do que pode ser automatizado, quais decisões precisam permanecer sob supervisão e quem responde quando uma ação automatizada produz uma consequência não prevista.
Enquanto pesquisadores e empresas de tecnologia discutem cenários de longo prazo sobre sistemas cada vez mais poderosos, organizações que adotam inteligência artificial já precisam enfrentar uma questão bem mais próxima: não apenas o que a tecnologia será capaz de fazer, mas quanto poder de execução estarão dispostas a entregar a ela.