Google обновила Android Bench — бенчмарк для оценки LLM в задачах Android-разработки
habr.comGoogle обновила Android Bench — бенчмарк для оценки LLM в задачах Android-разработки. Инженеры компании полностью переработали методологию тестирования, добавили новые модели и предоставили возможность разработчикам участвовать в развитии набора тестов.Главным обновлением стал переход на фреймворк Harbor, который теперь отвечает за выполнение всех тестов Android Bench.
Это позволяет оценивать модели более последовательно, воспроизводить результаты и быстрее добавлять новые сценарии проверки.
Новая модель Meta* обходит Opus 4.8 и GPT-5.5 в агентских задачах — и стоит $1.25 за миллион токенов
Cloudflare поставила Google ультиматум: раздели поисковый бот и ИИ-краулер — или будешь заблокирован
Запрет на создание токенов, проблемы с доступом и перераспределение комиссий: что происходит с NOXA?
