Ai4Dev опубликовал рейтинг лучших LLM копайлотов для программирования
habr.comТелеграм-канал AI4Dev опубликовал результаты исследования команды Chatbot Arena (ранее LMSYS – платформы соревнований LLM в формате чатов).
Месяц назад она выпустила плагин copilot для VSCode (один из известных редакторов кода от Microsoft). Внутри него встроена арена оценки различных LLM как копайлотов для программирования.Работает это так:пользователь в IDE вызывает плагин, чтобы дополнить определенный кусок кода, плагин передает запрос паре случайно выбранных LLM и возвращает два обезличенных ответа,пользователь вслепую выбирает один из двух вариантов ответа, который ему больше подходит,в итоге пользователь получает нужный код (copilot работает бесплатно), а команда LMSYS ― статистику: ответы каких моделей предпочитают разработчики.На днях команда Copilot Arena опубликовала первые результаты своего исследования.
