технологии Apple история общество самит

Мобильный Kmp клиент для Ollama server

Устанавливаем ollama server#curl -fsSL https://ollama.com/install.sh | shЗапускаем сервер. Если требуется, чтобы сервер был доступен не только на локальной машине, но и на эмуляторе или c любого телефона в сети надо добавить: OLLAMA_HOST=0.0.0.0 тогда к серверу можно будет обращаться через IPЗагружаем модели.

Например gemma4:12bПроверяем что сервер запущен и модель доступна. Для MacBook на чипе с ARM архитектурой cкачиваем mlx модели.gemma4:12b-mlx.PROCESSOR 100% GPU означает, что вся модель загружена в память видеокарты (GPU), и все вычисления (генерация токенов) идут на GPU, а не на CPU.Запущенная модель:NAME              ID              SIZE      PROCESSOR    CONTEXT    RUNNER    UNTIL              gemma4:e4b-mlx    5a08735df03c    9.4 GB    100% GPU     4096       mlx       4 minutes from now Список всех установленных моделей:Проверить реальный запрос из локальной сетиИли так:Можно пробовать подключать Агента в Android StudioВсе настроено.

DMCA