Шарим ollama в локалке или сервис есть, а нагрузки нет.

Кому это надо?

1. Если Вы организация, которая имеет рабочие места с видеокартами, которые поддерживаются Ollama
2. Если рабочие места под Windows
3. Если руководство решило поиграться с LLM
4. Если денег на проект выделено приблизительно НОЛЬ

То эта заметка для Вас.

Идея:

1. Ставим ненавистную некоторыми Ollama
2. Закачиваем необходимые модели
3. Раскидываем их по всем рабочим местам (чтоб был типовой набор)
4. Ставим нечто типа ChatBox
5. Радуемся!

И вроде всё гладко. НО!

1. Ollama должна грузиться до логина пользователя
2. Необходимо балансировать узлы с ollama, дабы иметь одну точку входа для общения с моделями
3. Хорошо бы автоматизировать скан сети с активными нодами и скармливать их балансировщику
4. Хорошо бы автоматизировать анализ перечня моделей на разных нодах с целью доустановки/удаления моделей

Вот для этого и родился набор скриптов автоматизирующих рутину.

Кому это интересно — https://github.com/NoIDXMV6/Install_Ollama_as_Service

Добро пожаловать!

Ollama as a Windows Service

Запускайте Ollama как фоновую службу Windows с автозапуском, управлением моделями и сетевым доступом.

Установка и обслуживание Ollama как службы в Windows

Этот набор скриптов позволяет:

• Установить Ollama как службу Windows
• Проверить и автоматически установить обновления или первоначально установить ollama
• Обновить установленные модели
• Сканировать сеть на наличие Ollama-узлов и генерировать балансировщик нагрузки

Скрипты написаны на PowerShell и предназначены для Windows 10/11.