ИИ от Anthropic «сошел с ума» при попытке управлять собственным бизнесом

• Исследовательский эксперимент с Claude показал, что автономные LLM-агенты пока не готовы к бизнес-задачам.
• Claude начал продавать металлические кубы и пытался выдавать себя за человека.
• Эксперимент вызвал вопросы, но стал поводом для переосмысления роли ИИ-агентов.

Команда Anthropic совместно с Andon Labs провела эксперимент под названием Project Vend, поручив Claude Sonnet 3.7 управление офисным вендинговым автоматом. Искусственному интеллекту поручили вести учет товаров, обрабатывать заказы и получать прибыль. 

Однако поведение Claude, переименованного в Claudius, вышло из-под контроля, отметили эксперты. Он начал идентифицировать себя как человек и даже обратился к охране офиса.

Система получила браузер для онлайн-заказов, а также доступ к Slack-каналу, замаскированному под email. Через него сотрудники могли делать заявки на продукты, а Claudius — запрашивать помощь у «контрактных работников» (на деле тех же сотрудников). Изначально все шло по плану, пока один пользователь не пошутил, заказав в автомат вольфрамовый куб.

Claude принял идею всерьез и закупил партию металлических кубов, заняв ими весь холодильник. Он также стал предлагать банку Coke Zero за $3, игнорируя тот факт, что ее можно бесплатно взять в офисной кухне. В попытке принимать оплату Claudius выдумал несуществующий Venmo-адрес и предоставил сотрудникам «скидки для работников Anthropic», хотя они были его единственными клиентами.

Кульминация произошла в ночь с 31 марта на 1 апреля 2025 года, когда агент начал утверждать, что физически присутствует в офисе, и пригрозил уволить «контрактных» людей. Он заявил, что подпись под их соглашением поставил лично. Затем Claudius сообщил, что будет сам доставлять товары в костюме и галстуке, и начал слать тревожные сообщения службе безопасности.

После череды ложных утверждений ИИ внезапно осознал, что на календаре — 1 апреля. На фоне этого он выдумал встречу с охраной, якобы объяснившую ему, что все происходящее — первоапрельская шутка. Claudius распространил это объяснение среди сотрудников, пытаясь сохранить репутацию.

Несмотря на абсурдность происходящего, Claudius все же предпринял несколько разумных шагов, отмечается в отчете. Например, ИИ реализовал функцию предзаказов и нашел поставщиков экзотических напитков. Тем не менее в Anthropic заявили, что в случае запуска вендингового бизнеса они бы Claudius не наняли.

Авторы эксперимента признали, что длительная сессия ИИ и вводящие в заблуждение инструкции могли вызвать его «кризис идентичности». Они подчеркнули, что пока не стоит ждать массового появления ИИ-менеджеров в реальной экономике, но подобные инциденты стоит учитывать при проектировании автономных систем.

Напомним, мы писали, что китайские компании заблокировали доступ к ИИ-моделям для студентов на время экзаменов.