OpenAI открыла код Transformer Debugger — отладчика для моделей машинного обучения
habr.comOpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки.
Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенам и почему выводит их в качестве ответа на запрос.Выпуск включает в себя следующие компоненты:Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода.