Вышла Llama 3.3 70B с качеством на уровне Llama 3.1 405B. Модель LLM для генерации текста
habr.comПредставлена Llama 3.3 размером 70B, которая, по заявлениям создателей, показывает себя на том же уровне ответов как и 405B, но в 5 раз легче.Размер контекста 128K (реализовано через Yarn, без Yarn 32k), модель обучалась на 15T+ (триллионов) токенов, актуальные знания только на декабрь 2023.
В общем никаких отличий от Llama 3.1, кроме качества. Можно сказать, что это файнтюн 3.1 версии, так как разница только в пост-обучении, где использовались новые подходы и предпочтения ответов.По многим бенчмаркам модель соответствует уровню 405B версии или даже обходит её, но для запуска модели требует в разы меньше ресурсов, что делает её доступной для запуска на домашнем ПК при использовании квантованной версии.
