«AI-микроскоп» от Anthropic показывает, как Claude обрабатывает информацию и рассуждает
habr.comНовый «AI-микроскоп» компании Anthropic предлагает ограниченный взгляд на внутренние представления ее языковой модели Claude 3.5 Haiku, показывая, как она обрабатывает информацию и рассуждает в ходе выполнения сложных задач.Одним из ключевых выводов, по данным Anthropic, является то, что Клод, по-видимому, использует своего рода независимую от языка внутреннюю репрезентацию — то, что исследователи называют «универсальным языком мышления».
Например, когда модель просят сгенерировать противоположность слову «маленький» на нескольких языках, она сначала активирует общую концепцию, прежде чем выводить переведенный ответ на целевом языке.Anthropic сообщает, что более крупные модели, такие как Claude 3.5, демонстрируют большее концептуальное совпадение между языками, чем более мелкие модели.
