LM Studio представила LM Link — инструмент для удаленной работы с локальными LLM

Введение

Компания LM Studio представила LM Link — решение для безопасного подключения к удаленным экземплярам LM Studio и их объединения в единую сеть. Решение предлагает сквозное шифрование, возможность загружать модели локально и использовать их из любой точки мира, а также задействовать LLM-системы или облачные виртуальные машины. LM Link позволяет использовать локальные модели удаленно, загружая их на удаленные компьютеры, но работая с ними так, будто они находятся на локальном устройстве. LM Link создает собственную сеть искусственного интеллекта, объединяя мощные вычислительные устройства дома, в офисе, в ЦОД или в облаке под защищенным соединением.

Подробнее о LM Link

С помощью LM Link ИИ-модели из LM Studio становятся доступны независимо от местоположения пользователя. Можно подключить свои устройства, будь то домашние, офисные или облачные машины, после чего загружать удаленные модели и использовать их как локальные. Это позволяет задействовать вычислительную мощность более производительных систем, находясь в любом месте, где есть доступ к сети.

Все соединения в LM Link защищены сквозным шифрованием. Данные и обмен информацией между устройствами остаются полностью конфиденциальными, поскольку устройства не подключаются к публичному интернету напрямую. Решение работает на базе пользовательских ячеистых VPN-сетей Tailscale, что обеспечивает надежную отраслевую безопасность и гарантирует, что никто посторонний не может перехватить трафик между подключенными устройствами.

Интеграция с LM Studio выполнена максимально просто. Достаточно установить LM Link на удаленных устройствах, и в интерфейсе LM Studio появится возможность загружать модели как с локальных, так и с удаленных устройств. При этом сами чаты остаются локальными, а основная обработка данных выполняется на более мощных удаленных машинах. Таким образом, пользователь получает удобный интерфейс работы с моделями, не теряя производительности и не усложняя настройку.

Продукт находится на стадии предварительного просмотра, но уже сейчас позволяет соединять устройства в единую сеть, отслеживать их состояние через монитор устройства и безопасно использовать распределенные вычислительные ресурсы для работы с моделями ИИ. Вся коммуникация между устройствами строится на базе Tailscale, что исключает необходимость в сложной конфигурации сетевых экранов или ручном открытии портов.

Выводы

LM Link — это передовое и уникальное решение для создания персональной сети искусственного интеллекта, объединяющей локальные и удаленные вычислительные ресурсы. Благодаря использованию технологии Tailscale и сквозному шифрованию, оно обеспечивает приватность и безопасность при удаленном запуске моделей, полностью исключая утечки данных через публичные каналы. Простота интеграции с LM Studio и отсутствие необходимости в сложной настройке делают этот инструмент доступным для широкого круга пользователей, желающих использовать мощность удаленных машин без компромиссов в области конфиденциальности.