Новый алгоритм поможет снизить энергозатраты ИИ до 95% без потери точности
habr.comУчёные из BitEnergy AI предложили новый метод для повышения энергоэффективности работы языковых моделей. В основе исследования лежит алгоритм линейной сложности умножения (L-Mul), который позволяет заменять операции с плавающей точкой на более простые операции сложения целых чисел.
Это решение, по их словам, может значительно сократить потребление энергии при работе с большими нейронными сетями, особенно в трансформерных моделях, таких как ChatGPT.Авторы утверждают, что использование их алгоритма вместо стандартных операций умножения с плавающей точкой позволяет сэкономить до 95% энергии на элементарных умножениях тензоров и до 80% на операциях с матрицами.