Google выпускает T5Gemma 2 — мультимодальная модель с поддержкой длинного контекста
Компания Google представила T5Gemma 2, обновленную версию своей модели T5, предназначенной для работы с текстом и изображениями.
Главная цель апдейта - повысить эффективность обработки длинного контекста и мультимодальных задач. Инженеры внедрили tied word embeddings для энкодера и декодера, а также объединили механизмы self-attention и cross-attention в единый слой.
habr.com