Пространственное внимание на RTX 3050: эксперимент с контекстом 16K
habr.comМожно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?Для проверки появился SpatialLM-Mini — прототип на Python и PyTorch с тремя архитектурами: пространственным вниманием, обычным Transformer и гибридом.
На RTX 3050 с 8 ГБ VRAM пространственный вариант обучался в 2,47 раза быстрее нашего Transformer при контексте 16 384 токена.
