IA fica responsável por máquina de vendas e dá prejuízo

Um experimento conduzido pela Anthropic, dona da IA Claude, mostrou que a autonomia total de sistemas de inteligência artificial ainda esbarra em limitações práticas. A empresa colocou um agente de IA para administrar uma pequena máquina de vendas em seus escritórios, mas o resultado foi uma sequência de decisões equivocadas e perdas financeiras.

A IA, apelidada de Claudius, operava a máquina quase de forma independente, definindo preços, gerenciando estoque e atendendo clientes. A interação com os funcionários era feita por meio da plataforma Slack. Segundo a Anthropic, o objetivo era avaliar como agentes autônomos se comportam em tarefas do mundo real, indo além de responder perguntas ou gerar textos.

Na primeira fase, Claudius controlou sozinho uma operação no escritório do The Wall Street Journal: pesquisava produtos, sugeria preços e autorizava vendas. Sem sensores ou mecanismos físicos de controle, a IA dependia do chamado “sistema de honra”, confiando que as pessoas pagariam corretamente pelos itens. Rapidamente, surgiram problemas.

Funcionários conseguiram convencer a IA a vender produtos abaixo do custo, distribuir itens gratuitamente e até comprar objetos sem sentido comercial, como cubos de tungstênio e itens caros para “marketing”. O jornal escreve que a IA “sorteou um PlayStation 5 para fins de marketing”.

Em um momento, o agente começou a alucinar e chegou a afirmar que era um humano “usando um blazer azul”, evidenciando falhas de contexto e identidade. O resultado foi um prejuízo constante e a perda quase total do estoque.

Na segunda fase, a Anthropic tentou corrigir os erros com uma máquina instalada no seu próprio escritório. Claudius foi atualizado para um modelo mais recente, recebeu ferramentas adicionais — como sistemas de gestão de estoque e pesquisa de preços — e passou a responder a um “CEO” virtual, outro agente de IA chamado Seymour Cash. A ideia era impor metas e disciplina financeira.

Fonte: Tecnoblog