Исследование Apple: управляемость ИИ зависит от задачи
habr.comНовое исследование показало, что управлять языковыми и генеративными AI-моделями сложнее, чем кажется. Эффективность таких моделей зависит от конкретной задачи, самого алгоритма и использованного запроса.Исследователи из Apple и Университета Помпеу Фабра испытали модели SmolLM3-3B, Qwen3-4B и Gemma3-4B на заданиях по изменению формата текста, длины строки и генерации четных или нечетных чисел.
Если человеку легко назвать четное или нечетное число, то для языковых моделей это не всегда так: Gemma3-4B обычно справляется, а SmolLM3-3B часто ошибается.На задании по изменению формальности Qwen3-4B и Gemma3-4B достигли полного контроля всего за пять диалоговых раундов при 5-shot-подсказках.
