NVIDIA представила исследование нового формата чисел для обучения больших языковых моделей
NVIDIA представила исследование NVFP4, нового формата чисел для обучения больших языковых моделей, который использует всего четыре бита на число вместо привычных восьми или шестнадцати.
Такой подход позволяет почти не терять точность вычислений, ускоряет обучение в два-три раза и снижает потребление памяти на пятьдесят процентов.
habr.com