Нейросеть Llama3 получила улучшенное понимание речи
habr.comРазработчики Llama3-s v0.2 поделились улучшениями, которые модель продемонстрировала в тестах понимания речи и способности «слушать».
В llama3-s v0.1 начали внедрять акустические токены. В v0.2 реализовали слияние с семантическими токенами, которые обладают такими преимуществами, как простота, лучшее сжатие и последовательное извлечение признаков речи.Сначала модель прошла предварительное обучение на примерах реальной речи с помощью экспериментов с грубой абляцией.