Исследователи из Unsloth сжали DeepSeek R1 на 80% от оригинального размера
Исследователи из компании Unsloth, которая специализируется на обучении и файнтюнинге языковых моделей, сжали нейросеть DeepSeek R1 на 80% от оригинального размера.
В итоге языковая модель занимает 131 ГБ вместо 720 ГБ, а запускать её можно на более слабом железе. При этом производительность модели всё ещё остаётся на достаточно высоком уровне.В своём проекте исследователи использовали китайскую большую языковую модель DeepSeek R1 с 671 млрд параметров.
habr.com