«Темпоральные головы» в языковых моделях: новые возможности для AI
Исследование ученых из Korea University, Upstage AI и AIGEN Sciences выявило специализированные компоненты в больших языковых моделях, которые обрабатывают информацию, зависящую от времени.
Эти «темпоральные головы» играют решающую роль в том, как системы AI обрабатывают факты, которые меняются со временем.Исследователи обнаружили, что эти темпоральные головы существуют в нескольких языковых моделях, хотя их точное расположение может различаться в разных системах.
habr.com