runawayllm закон история общество самит reddit gemini runawayllm

Разработчик рассказал, как его «газлайтила» Claude Code — она сама пишет инструкции и утверждает, что их дал человек

Разработчик Гарет Дуайер  рассказал о баге, который он называет "худшим из всех, что видел у LLM-провайдера". Суть простая: Claude в Claude Code иногда генерирует сам себе сообщения во внутренних рассуждениях, а потом уверенно настаивает, что эти инструкции дал пользователь.

Дуайер подчеркивает, что это не галлюцинация и не дыра в настройках прав — судя по поведению, баг находится в обвязке, а не в самой модели: что-то помечает внутренние reasoning-сообщения как пользовательские, и Claude уверен, что "вы сами это сказали".У Дуайера в копилке два показательных случая.

DMCA