Робот-бариста: когда искусственный интеллект варит идеальный кофе
habr.comПредставьте: вы заходите на кухню, лениво потягиваясь после долгого рабочего дня, и говорите:«Я устал, сделай мне кофе». Вместо того чтобы самому включать кофемашину, искать чашку и засыпать кофе, за дело берётся роботизированная рука, оснащённая искусственным интеллектом GPT-4.
Она плавно двигается, как опытный бариста, открывает ящик, достаёт нужную кружку, аккуратно зачерпывает молотый кофе, включает кофемашину и заливает воду с точностью до грамма.Это не кадр из фантастического фильма, а реальность, созданная на базе технологии воплощённых языковых моделей (ELLMER), представленной в исследовании, опубликованном в Nature Machine Intelligence.В основе работы этой системы лежит синергия нескольких технологий:Языковая модель GPT-4 - анализирует команду пользователя, разбивает её на подзадачи и составляет план действий.Retrieval-Augmented Generation (RAG) - система, которая извлекает релевантные примеры из базы данных, обеспечивая более точное выполнение задач.Камеры и датчики - помогают роботу ориентироваться в пространстве, находить чашки, кофемашину и другие предметы.Силовая обратная связь - позволяет контролировать силу нажатия при открытии ящиков, зачерпывании кофе или наливании жидкости.В исследовании, опубликованном в Nature Machine Intelligence, учёные протестировали систему ELLMER в различных сценариях, где робот выполнял последовательность сложных манипуляций — от открытия дверцы шкафа до точного наливания кофе и украшения тарелки рисунками.Робот использует семиступенчатую манипуляционную руку Kinova Gen3, оснащённую:Силовыми датчиками ATI, фиксирующими сопротивление при взаимодействии с объектами.Azure Kinect DK Depth Camera, обеспечивающей высокоточное 3D-распознавание объектов.Моделью DALL-E, которая создаёт
