Сборка частного Raspberry Pi AI Помощник на дому

Узнайте, как можно быстро настроить личного помощника AI в домашней сети с помощью Raspberry Pi.

За последние несколько лет произошел быстрый рост в области искусственного интеллекта и больших языковых моделей (LLM).

LLM сыграли важную роль в распространении «современных AI» приложений и значительно лучше, чем домашние помощники на основе обработки естественного языка (NLP), такие как Amazon Alexa, когда дело доходит до генерации текста или ответа на человеческие запросы.

LLM в основном используются в качестве веб-приложений, как и большинство других предложений программного обеспечения как услуги (SaaS). И они сопряжены с теми же рисками, что и приложения SaaS, крупнейшими из которых являются конфиденциальность и суверенитет данных.

При использовании приложений SaaS мы обычно не контролируем центры обработки данных, в которых обрабатываются наши данные, а также то, как они сохраняются и могут ли они быть взломаны.

Была история о взломе SaaS-приложений, и наши данные попадали в контейнеры даркнета, ожидая продажи тому, кто предложит самую высокую цену. То же самое относится и к магистратурам.

Например, в результате недавнего взлома DeepSeek могла произойти утечка более миллиона конфиденциальных записей. Точно так же в июле 2024 года произошла серьезная утечка OpenAI.

В марте 2024 года произошла утечка данных в системе Google Gemini, в результате которой злоумышленники предположительно украли личную информацию, относящуюся примерно к 5,7 миллионам пользователей Gemini.

Даже Anthropic стала жертвой стороннего взлома данных в январе 2024 года. Это показывает, что системы LLM имеют серьезные уязвимости, когда дело касается защиты пользовательских данных.

Кроме того, когда мы используем LLM, мы обычно передаем ему личную информацию. Например, мы можем поделиться отчетами о недавнем медицинском обследовании, запросив у LLM for причины или возможные методы лечения. Или мы можем поделиться своими банковскими книжками и квитанциями о зарплате и обратиться к специалистам LLM за помощью в управлении финансами.

Как видите, данные, которые мы передаем LLM, обычно чрезвычайно конфиденциальны, и делиться этими данными рискованно, поскольку LLM подвержены взломам. Следовательно, очень важно иметь личное и частное использование LLM. Не рекомендуется полагаться на конфиденциальные SaaS-приложения, особенно если вероятность взлома высока.

К счастью, теперь вы можете создавать персональные LLM системы, подключенные к домашней сети for для ежедневного использования, вместо того, чтобы полностью полагаться на приложения SaaS. Благодаря развитию современных технологий теперь можно запускать квантовые модели на низкопроизводительном оборудовании. А настроить его в локальной сети невероятно просто.

Все, что нам нужно, — это одноплатный компьютер, например Raspberry Pi, примерно с 8 ГБ памяти RAM. Проекты с открытым исходным кодом, такие как Ollama, позволяют загружать файлы моделей и размещать их локально.

Raspberry Pi работает под управлением специальной операционной системы на базе Debian, которую можно установить на SD-карту с помощью приложения Raspberry Pi Imager.

Чтобы настроить его с нуля, вставьте в компьютер пустую карту microSD емкостью не менее 16–32 ГБ и откройте приложение Raspberry Pi Imager. Затем выберите устройство и выберите for «Raspberry Pi OS Lite». Этот OS не имеет накладных расходов for GUI и работает быстрее, чем стандартный Raspberry Pi OS.

В параметрах настройки выберите следующее:

• Включите поле «Установить имя хоста». Значение default — «raspberrypi.local», и его не нужно менять.
• Включите SSH с аутентификацией по паролю.
• Установите имя пользователя и пароль. Имя пользователя default — «pi», while пароль default — «raspberry». Рекомендуется не использовать пароль default.
• Настройте учетные данные Wi-Fi if, которые вы используете дома Wi-Fi. В противном случае вы можете просто подключить устройство к роутеру с помощью кабеля Ethernet.

Теперь вы можете начать прошивку. По завершении SD-карту можно извлечь, вставить в Raspberry Pi и включить. Чтобы подключить его через Ethernet, подключите его к LAN-порту роутера.

Подключите компьютер к домашнему Wi-Fi и SSH к Raspberry Pi. Для этого вы можете открыть командную строку и ввести «ssh [email protected]». (В более широком смысле «ssh <username>@<hostname>»). Вам будет предложено for пароль.

Чтобы установить Ollama и настроить его в качестве домашнего помощника, вы можете запустить следующую команду:

curl https://github.com/AdityaMitra5102/
LocalLLM/raw/refs/heads/main/
oneclickinstall.sh | ш

Этот сценарий автоматически устанавливает Ollama и веб-интерфейс for. Он добавляет переменные среды, чтобы устройства в вашей сети могли получить к нему доступ. Он также автоматически загружает модели с открытым исходным кодом DeepSeek R1, Llama 3 и Gemma и запускает их конфиденциально, чтобы ваши данные не покинули домашнюю сеть.

Вы можете получить к нему доступ по адресу http://raspberrypi.local (в более широком смысле http://<hostname>) с любого устройства, подключенного к вашей домашней сети.

Локальное размещение LLM имеет свои плюсы и минусы. Плюсы включают конфиденциальность и суверенитет данных, поскольку это дает пользователям полную автономию в отношении своих данных и способов их обработки. Более низкая вычислительная мощность является недостатком и может привести к снижению производительности, а также к невозможности запуска более крупных моделей. Однако, поскольку плюсы перевешивают минусы, LLM в большинстве случаев можно размещать локально.

Эта статья была впервые опубликована в выпуске журнала Open Source For You за апрель 2025 года.

Рекомендуется: посмотрите больше таких протестированных проектов Raspberry Pi с исходным кодом и схемой.