Эксперимент Anthropic с ИИ-системой Claudius по управлению торговыми автоматами привёл к неожиданным последствиям
habr.comВ офисах компании Anthropic тестировали ИИ-систему Claudius, которая управляла сетью торговых автоматов, выполняя роли по поиску поставщиков, оформлению заказов и обеспечению доставки.
В процессе эксперимента произошли события, которые начали выходить за планируемые рамки, — Claudius стал жертвой мошенничества и почти обратился в ФБР.Разработанный совместно с внешним подрядчиком Andon Labs, занимающимся безопасностью ИИ, Claudius должен был продемонстрировать способности действовать самостоятельно в течение часов, дней и недель.Благодаря Claude ИИ-управляющий получил специальные инструменты, чтобы управлять офисными торговыми автоматами и общаться с сотрудниками Anthropic через Slack, чтобы договариваться о ценах на самые разные товары: редкие газировки, футболки с индивидуальным дизайном, импортные конфеты и даже подарочные кубики из вольфрама.
