Мета: Сформувати в Україні культуру відповідального, безпечного та практичного використання ШІ з обмеженим бюджетом для домашнього використання, розвитку кар'єри та пет-проєктів.
Note
Цей документ фокусується на західному та демократичному стеку. Проте, згідно з Меморандумом проєкту, знято заборону на деякі локальні китайські моделі (як-от серії Qwen, DeepSeek) виключно для цілей локального тестування, порівняння та підвищення продуктивності в агентному кодуванні. Американська модель Ornith (розробка DeepReinforce Team) належить до західного стеку і підтримується повністю. Російські моделі штучного інтелекту (на кшталт YandexGPT, GigaChat) перебувають під СУВОРОЮ ТА ДОВІЧНОЮ ЗАБОРОНОЮ.
- Хмарні AI-моделі та API
- Відкриті моделі для локального запуску
- Інструменти локального інференсу
- Агентні фреймворки та оркестрація
- RAG та векторні бази даних
- MCP — Model Context Protocol
- Self-hosted AI платформи
- Залізо для домашньої лабораторії
- Бюджетні тієри для України
- Енергоавтономність (стійкість до відключень світла)
- Рекомендований стек для початку
- Автономні Локальні Агенти та Нові Напрямки (Червень 2026)
| Провайдер | Модель | Input | Output | Контекст | Тип | Найкраще для |
|---|---|---|---|---|---|---|
| Gemini 3.1 Flash-Lite | $0.25 | $1.50 | 1M | API | 🏆 Найдешевший варіант для навчання | |
| Gemini 3.5 Flash | $1.50 | $9.00 | 1M | API | Швидкі задачі, прототипи, агенти | |
| Gemini 3.5 Pro | TBD | TBD | 1M | API | Анонсовано на Червень 2026, флагманське міркування | |
| Gemini 3.1 Pro | $2.00 | $12.00 | 1M | API | Складне міркування, код, аналітика | |
| OpenAI | GPT-5.4 nano | $0.20 | $1.25 | 400K | API | Дешеві масові задачі |
| OpenAI | GPT-5.4 mini | $0.75 | $4.50 | 400K | API | Баланс ціна/якість, швидке міркування |
| OpenAI | GPT-5.4 | $2.50 | $15.00 | 1M | API | Кодування, native computer-use, агенти |
| OpenAI | GPT-5.5 | $5.00 | $30.00 | 1M | API | Флагманське міркування, складний код |
| Anthropic | Claude Haiku 4.5 | $1.00 | $5.00 | 200K | API | Швидкі, дешеві задачі |
| Anthropic | Claude Sonnet 4.6 | $3.00 | $15.00 | 1M | API | Код, аналіз, щоденні агенти |
| Anthropic | Claude Opus 4.8 | $5.00 | $25.00 | 1M | API | Найкраща якість, складні лонг-хоризонтні задачі |
| Mistral | Small 4 | $0.15 | $0.60 | 262K | API + Open | Легкі задачі, edge, агенти (Березень 2026) |
| Mistral | Codestral | $0.30 | $0.90 | 256K | API + Open | Код |
| Mistral | Medium 3.5 | $1.50 | $7.50 | 256K | API + Open | Фронтьєр, кодування, агенти |
| Mistral | Large 3 | $0.50 | $1.50 | 262K | API + Open | Складні задачі, мультимова |
| Провайдер | Що безкоштовно | Обмеження |
|---|---|---|
| Google AI Studio | Gemini 3.5 Flash, 3.1 Flash-Lite | Знижені RPM/TPM, дані можуть використовуватись для навчання |
| OpenAI | ChatGPT Free Tier | Обмежений доступ до GPT-5.4 mini (веб/мобільний додаток) |
| Mistral | Le Chat (чат) | Безкоштовний чат (обмеження ~25 повідомлень/день), підписка Pro за $14.99/міс |
| Google Colab | Безкоштовні GPU (T4) | Обмежений час, нестабільно |
- Prompt Caching — до 90% знижка (Anthropic, Google), 75% (OpenAI) на кешовані токени
- Batch API — 50% знижка на асинхронні запити (всі провайдери)
- Маршрутизація моделей — Haiku для простих задач, Sonnet/Opus для складних
Tip
Бюджет $10/міс = ~40M токенів Gemini 3.1 Flash-Lite або ~13M GPT-5.4 mini. Цього достатньо для активного навчання та пет-проєктів.
| Модель | Параметри | Ліцензія | Мультимодальність | VRAM (Q4) | Найкраще для |
|---|---|---|---|---|---|
| Gemma 3 4B | 4B | Google Open | ✅ Текст + Vision | ~3 GB | 🏆 Ідеал для початку, 128K контекст |
| Gemma 3 12B | 12B | Google Open | ✅ Текст + Vision | ~7 GB | Баланс якість/розмір |
| Gemma 3 27B | 27B | Google Open | ✅ Текст + Vision | ~16 GB | Найкраща якість серед SLM |
| Gemma 4 E2B / E4B | 2B / 4B | Apache 2.0 | 🗣️ Text + Image + Audio | ~1.5 - 3 GB | Edge-пристрої, висока швидкість (Квітень 2026) |
| Gemma 4 26B (MoE) | 3.8B active / 26B total | Apache 2.0 | ✅ Text + Image | ~15 - 18 GB | Робочі станції, 256K контекст |
| Gemma 4 31B | 31B dense | Apache 2.0 | ✅ Text + Image | ~20 GB | Флагманська якість, 256K контекст |
| Phi-4 mini | 3.8B | MIT | ❌ Текст | ~2.5 GB | Reasoning, математика, код |
| Phi-4 | 14B | MIT | ❌ Текст | ~8 GB | Найкраще міркування серед SLM |
| Phi-4 Multimodal | 5.6B | MIT | 🗣️ Text + Audio + Image | ~4 GB | Мультимедійні інструкції |
| Phi-4 Reasoning | 14B | MIT | ❌ Текст | ~8 GB | RL-міркування, покрокова логіка |
| Phi-4 Reasoning-Vision | 15B | MIT | ✅ Текст + Vision | ~9 GB | Аналітика, вибірковий CoT (Березень 2026) |
| Qwen3.6-27B (Dense) | 27B | Alibaba Permissive | ❌ Текст | ~16 GB | 🏆 Лідер за точністю кодування, 128K контекст |
| DeepSeek-V4-Flash | 16B total (2.5B active) | MIT | ❌ Текст | ~9 GB | Швидке та глибоке RL-міркування з CoT (<think>) |
| DeepSeek-V4-Pro | 100B+ MoE | MIT | ❌ Текст | ~60 GB | Флагманське локальне міркування (RL), альтернатива хмарам |
| Mistral Small 4 | 119B MoE (6.5B active) | Apache 2.0 | ✅ Текст + Vision | ~70 GB | Мультимова, CoT міркування, агенти (Березень 2026) |
| Mistral Small 3.1 | 24B | Apache 2.0 | ✅ Текст + Vision | ~14 GB | Мультимова, низький latency, локальний чат (Березень 2025) |
| Mistral Medium 3.5 | 128B | Open-weight | ✅ Мультимодальна | ~70 GB | Фронтьєр-клас, кодування, агенти |
| Mistral Large 3 | 675B total MoE | Open-weight | ✅ Мультимодальна | ~380 - 400 GB* | Флагман для складних завдань |
| Ministral 3 3B/8B/14B | 3B/8B/14B | Apache 2.0 | ✅ Текст + Vision | ~2 - 8 GB | Edge-інференс, низька затримка (Грудень 2025) |
| LLaMA 4 Scout | 17B active / 109B total | Llama License | ✅ Мультимодальна | ~60 GB | MoE, 10M контекст, енергоефективна |
| LLaMA 4 Maverick | 17B active / 400B total | Llama License | ✅ Мультимодальна | ~220 GB | MoE, найкраща якість, 1M контекст |
*MoE-архітектура: VRAM залежить від кількості завантажених експертів
| VRAM | Що запускати (Q4_K_M) |
|---|---|
| 8 GB | Gemma 4 E2B/E4B, Phi-4 mini 3.8B, Phi-4 Multimodal 5.6B, Phi-4 14B (дуже тісно) |
| 12 GB | Phi-4 14B, Phi-4 Reasoning 14B, DeepSeek-V4-Flash 16B, Gemma 4 12B, Ministral 3 (3B/8B) |
| 16-24 GB | Gemma 4 26B (MoE), Qwen3.6-27B (Dense), Mistral Small 3.1 (24B), Phi-4 Reasoning-Vision 15B |
| 32-48 GB (Mac Unified) | Gemma 4 31B, Gemma 4 26B (MoE) / 31B, Ministral 3 14B |
| 64-96 GB (Mac Studio / Multi-GPU) | LLaMA 4 Scout (MoE 109B), DeepSeek-V4-Pro MoE, Mistral Small 4 (119B MoE), Mistral Medium 3.5 (128B dense) |
| 256+ GB (Enterprise / Large Multi-GPU) | LLaMA 4 Maverick (MoE 400B), Mistral Large 3 (MoE 675B) |
У 2026 році локальний мультимодальний інференс перейшов від використання окремих розрізнених енкодерів (late fusion) до нативних архітектур раннього злиття (early fusion). Це означає, що текстові, аудіо- та візуальні токени обробляються в єдиному уніфікованому просторі трансформера.
- Нативне аудіо (Native Audio):
- Gemma 4 E2B/E4B: Мала модель (Edge-класу) від Google, яка підтримує повний спектр вхідних даних (Текст + Зображення + Аудіо + Відео). Вона оптимізована для мобільних та вбудованих пристроїв і дозволяє реалізувати direct speech-to-speech сценарії без додаткових Whisper-моделей.
- Phi-4 Multimodal (5.6B): Легка модель від Microsoft з нативною підтримкою аудіо та зображень. Чудово підходить для голосових помічників та аналізу звукових інструкцій.
- Llama 4 Scout (109B) & Maverick (400B): Пропонують нативну мультимодальність (Text, Image, Audio) «з коробки», де аудіосигнали токенізуються безпосередньо в латентний простір моделі.
- Локальний Vision-інференс:
- Gemma 4 (12B/26B/31B): Забезпечують видатну точність OCR, аналізу графіків та просторового розуміння зображень.
- Phi-4 Reasoning-Vision (15B): Поєднує покрокове логічне міркування (CoT) з візуальним аналізом, що критично для розбору технічних схем, креслень та інтерфейсів.
- Перевага для HomeLab: Зменшується затримка (latency) та економиться пам'ять, оскільки немає потреби тримати у VRAM окремі моделі ASR (Whisper) та TTS (наприклад, Bark/Melotts), модель безпосередньо приймає аудіо-токени на вхід та генерує відповіді.
Робота локальних моделей від EcoFlow чи повербанків потребує оптимізації як заліза, так і конфігурації самих моделей.
- Вибір моделей та квантизації:
- Мінімальний бюджет споживання: Використовуйте edge-моделі розміром 2B–4B (наприклад,
Gemma 4 E2B/E4BабоPhi-4 mini 3.8B). - Оптимальний формат квантизації: Для блекауту пріоритет зміщується з класичного
Q4_K_MнаQ3_K_LабоIQ3_XS(3-бітна квантизація). Це знижує розмір моделі в пам'яті ще на 20-25%, зменшуючи енерговитрати на зчитування ваг з пам'яті (Memory Bandwidth є основним споживачем енергії при генерації).
- Мінімальний бюджет споживання: Використовуйте edge-моделі розміром 2B–4B (наприклад,
- Налаштування параметрів інференсу:
- Capping Context & Generation (
max_tokens): Завжди обмежуйте кількість генерованих токенів та контекст запиту. Споживання енергії є лінійним від кількості токенів. Промпт із відповіддю на 100 токенів споживає у 5 разів менше енергії, ніж на 500 токенів. - Ollama Keep-Alive (
OLLAMA_KEEP_ALIVE=0): За замовчуванням Ollama тримає модель у VRAM протягом 5 хвилин. Під час блекауту переведіть цей параметр в0або встановіть мінімальне значення (наприклад,1m), щоб графічний адаптер негайно переходив у глибокий режим сну (deep sleep), де споживання падає з 15-30W до 2-4W.
- Capping Context & Generation (
- Енергетичний рейтинг апаратної частини:
- Apple Silicon (M1-M4): 1.4 – 1.8 t/s/W (Найвища енергоефективність. Mac Mini чи MacBook Air на M-серії є кращим вибором під час блекаутів).
- Nvidia GPUs (RTX 30xx/40xx/50xx): ~0.25 – 0.42 t/s/W. Вимагають обов'язкового встановлення ліміту споживання через
nvidia-smi -pl <Watts>(для RTX 3060 рекомендується 80-100W замість 170W).
Meta Llama 4 повністю перейшла на Mixture-of-Experts (MoE) архітектуру для моделей середнього та великого класу, що забезпечило революційне зростання ефективності.
- Конфігурація експертів:
- Llama 4 Scout: 109 млрд загальних параметрів (109B total), з яких 17 млрд є активними (17B active) для кожного окремого токена. Використовує архітектуру з 16 експертами.
- Llama 4 Maverick: 400 млрд загальних параметрів (400B total), з яких 17 млрд є активними (17B active) для кожного токена. Використовує 128 експертів.
- Гіпер-контекст: Llama 4 Scout має рекордний локальний контекст у 10 мільйонів токенів (10M). Це досягається завдяки оптимізованому механізму Sparse Attention та KV Cache offloading.
- Чому це важливо: MoE дозволяє отримати якість відповідей рівня гігантських dense-моделей (100B+), але з обчислювальними витратами (та споживанням енергії) звичайної 17B моделі. Це робить Llama 4 Scout ідеальним кандидатом для локального запуску на робочих станціях з 64-96 GB VRAM.
| Інструмент | Найкраще для | GPU підтримка | Складність | Ключова перевага |
|---|---|---|---|---|
| Ollama | Розробка та прототипи | NVIDIA, AMD, Apple Silicon | ⭐ Легко | Запуск за 1 команду, native MLX backend, підтримка Anthropic Messages API, tool calling |
| vLLM | Production, API для команди | NVIDIA (CUDA) | ⭐⭐⭐ Складно | PagedAttention, Model Runner V2, Multi-Token Prediction (MTP), KV Cache Offloading, high-throughput MoE |
| llama.cpp | Портативність, edge | Все (CPU, Metal, CUDA, ROCm) | ⭐⭐ Середньо | Максимальний контроль, Multi-Token Prediction (MTP, +65% t/s), universal quantization |
| LM Studio | Візуальний UI, новачки | NVIDIA, Apple Silicon | ⭐ Легко | Гарний GUI, drag-and-drop |
| Jan.ai | Desktop-клієнт | NVIDIA, Apple Silicon | ⭐ Легко | Приватність, локальний ChatGPT |
| Open WebUI | Веб-інтерфейс для команди | Через Ollama/vLLM | ⭐ Легко | RAG, плагіни, RBAC |
| LocalAI | OpenAI-сумісний API | NVIDIA, CPU | ⭐⭐ Середньо | Drop-in заміна OpenAI |
┌─────────────────────────────────────────────────────────┐
│ 1. ПРОТОТИПУЙ в Ollama — найшвидший шлях до моделі │
│ 2. МАСШТАБУЙ у vLLM — коли потрібен API для команди│
│ 3. ВБУДОВУЙ llama.cpp — edge, офлайн, контроль │
└─────────────────────────────────────────────────────────┘
| Формат | Розмір (% від FP16) | Якість | Коли використовувати |
|---|---|---|---|
| Q4_K_M | ~25% | 🟢 Мінімальна втрата | 🏆 Золотий стандарт — баланс якість/розмір |
| Q5_K_M | ~31% | 🟢 Відмінна | Якщо є трохи більше VRAM |
| Q8_0 | ~50% | 🟢 Майже без втрат | Якщо вистачає VRAM |
| Q3_K_M | ~19% | 🟡 Помітна втрата | Тільки при критичному дефіциті VRAM |
| Q2_K | ~12% | 🔴 Суттєва втрата | Не рекомендовано |
| Фреймворк | Тип | Підтримка Ollama | Складність | Найкраще для |
|---|---|---|---|---|
| LangGraph | Графові системи | ✅ | ⭐⭐⭐ | 🏆 Production, складні циклічні workflow, durable execution з checkpointing (PostgreSQL/MongoDB), subgraphs |
| CrewAI | Мультиагентні команди | ✅ | ⭐⭐ | Рольові команди (Crews), подійні конвеєри (Flows), підтримка MCP та Agent-to-Agent (A2A) протоколу |
| PydanticAI | Type-safe агенти | ✅ | ⭐⭐ | Надійний Python-код з глибокою Pydantic-валідацією та інтеграцією з Pydantic Logfire (OpenTelemetry) |
| AutoGen (Microsoft) | Конверсаційні агенти | ✅ | ⭐⭐⭐ | Дослідження, R&D, динамічний діалог |
| Agno (ex-PhiData) | Lightweight тулкіт | ✅ | ⭐ | Швидкий старт, прості агенти з вбудованими інструментами |
| Semantic Kernel (MS) | Enterprise SDK | ✅ | ⭐⭐⭐ | .NET / Java / Python корпоративні інтеграції |
flowchart TD
START["🤔 Що будуєш?"] --> Q1{Потрібен production\nз аудитом?}
Q1 -->|Так| LG["🏗️ LangGraph"]
Q1 -->|Ні| Q2{Потрібна команда\nагентів?}
Q2 -->|Так| CREW["👥 CrewAI"]
Q2 -->|Ні| Q3{Пріоритет —\ntype safety?}
Q3 -->|Так| PYD["🔒 PydanticAI"]
Q3 -->|Ні| AGNO["⚡ Agno"]
style LG fill:#8957e5,color:#fff
style CREW fill:#238636,color:#fff
style PYD fill:#1f6feb,color:#fff
style AGNO fill:#d29922,color:#0d1117
- Конвергенція: Команди комбінують CrewAI (для дослідження) + LangGraph (для виконання)
- MCP як стандарт: Всі фреймворки переходять на Model Context Protocol для інтеграції з інструментами
- Human-in-the-loop: Production-системи обов'язково включають людський контроль
Сучасний AI-HomeLab стек функціонує не як ізольовані модулі, а як злагоджена трирівнева архітектура (Оркестрація ↔ Інференс ↔ Хмара) з універсальним протоколом інструментів (MCP):
┌────────────────────────────────┐
│ Оркестрація & Логіка │
│ (LangGraph / CrewAI / Pydantic)│
└───────────────┬────────────────┘
│
┌───────────────────────┴───────────────────────┐
▼ (Стандартизовані API: OpenAI/Anthropic Messages)▼
┌───────────────────────────┐ ┌───────────────────────────┐
│ Локальний Інференс │ │ Хмарні API │
│ (Ollama / vLLM / cpp) │ │ (GPT-5 / Claude 4 / Gem) │
└────────────┬──────────────┘ └─────────────┬─────────────┘
│ │
│ ┌────────────────────────┐ │
└────────────►│ Model Context Protocol│◄────────────┘
│ (MCP Servers) │
└───────────┬────────────┘
▼
[Бази даних, Файли, Web]
-
Шар оркестрації (LangGraph / CrewAI / PydanticAI):
- Відповідає за збереження стану, бізнес-логіку, маршрутизацію запитів та валідацію типів.
- PydanticAI використовується на етапах структурного вводу/виводу: він гарантує, що повідомлення від квантованих локальних моделей (які можуть помилятися в синтаксисі) автоматично перевіряються та валідуються на рівні коду.
- CrewAI Flows оркеструє детерміновані етапи підготовки, а LangGraph веде складні багатоагентні діалоги з можливістю підтвердження дій людиною (Human-in-the-loop).
-
Шар локального інференсу (Ollama / vLLM / llama.cpp):
- Виконує локальні відкриті моделі (Gemma 4, Phi-4, LLaMA 4 Scout) на домашньому залізі.
- Ollama підтримує сумісність з Anthropic Messages API, що дозволяє запускати агентів, розроблених під сімейство Claude (наприклад, Claude Code), повністю локально.
- vLLM діє як високоефективний OpenAI-сумісний сервер для багатокористувацьких або фонових завдань, застосовуючи PagedAttention та Model Runner V2.
- llama.cpp інтегрується безпосередньо у низькорівневі додатки для Edge-пристроїв із підтримкою прискорення Multi-Token Prediction (MTP).
-
Шар хмарних API (OpenAI GPT-5.x, Anthropic Claude 4.x, Google Gemini 3.5/3.1):
- Використовується гібридно (Hybrid AI) для задач найвищої складності (наприклад, архітектурний дизайн коду чи рефакторинг).
- Завдяки технології Prompt Caching (до 90% економії на повторних токенах у Gemini 3.5 та Claude 4) хмарні провайдери утримують гігантські вікна контексту за копійки, а локальні інференси виконують швидку обробку дрібних кроків.
-
Універсальний шар інструментів (MCP):
- Об'єднує локальні та хмарні моделі. Оркестратор ініціює MCP-клієнт, а сервери MCP дають моделям стандартизований доступ до файлів, терміналу, баз даних або веб-пошуку без необхідності писати унікальні конектори під кожен фреймворк.
| Рішення | Найкраще для | Мова | Self-hosted | Складність |
|---|---|---|---|---|
| ChromaDB | 🏆 Прототипи, навчання | Python | ✅ | ⭐ |
| pgvector | Якщо вже є PostgreSQL | SQL | ✅ | ⭐⭐ |
| Qdrant | Production, перформанс | Rust | ✅ + Cloud | ⭐⭐ |
| Weaviate | Гібридний пошук | Go | ✅ + Cloud | ⭐⭐⭐ |
| Milvus Lite | Великі масштаби | Go/C++ | ✅ | ⭐⭐⭐ |
| Модель | Розмір | Якість | Мультимова | Запуск через |
|---|---|---|---|---|
| nomic-embed-text | 137M | 🟢 Добра | ✅ | Ollama |
| BGE-M3 | 568M | 🟢🟢 Відмінна | ✅ 100+ мов | HuggingFace |
| E5-mistral-7b | 7B | 🟢🟢🟢 Найкраща | ✅ | Ollama/vLLM |
| mxbai-embed-large | 335M | 🟢🟢 Відмінна | ✅ | Ollama |
flowchart LR
DOCS["📄 Документи"] --> CHUNK["✂️ Chunking"]
CHUNK --> EMB["🔗 Embedding\n(nomic / BGE-M3)"]
EMB --> VDB["💾 Vector DB\n(ChromaDB / Qdrant)"]
QUERY["❓ Запит"] --> HYBRID["🔍 Hybrid Search\n(Vector + BM25)"]
VDB --> HYBRID
HYBRID --> RERANK["📊 Reranking\n(Cross-Encoder)"]
RERANK --> LLM["🧠 LLM\n(Ollama)"]
LLM --> ANS["💬 Відповідь"]
style DOCS fill:#d29922,color:#0d1117
style LLM fill:#8957e5,color:#fff
style VDB fill:#238636,color:#fff
style RERANK fill:#f778ba,color:#0d1117
MCP — відкритий стандарт від Anthropic (тепер під Linux Foundation), що вирішує проблему N×M інтеграцій між AI-клієнтами та інструментами. Замість окремого коду для кожної пари "модель ↔ інструмент", MCP створює єдиний універсальний протокол.
┌──────────────┐ MCP ┌──────────────┐
│ AI Host │◄────────────►│ MCP Server │
│ (Claude, │ (JSON-RPC) │ (GitHub, │
│ Cursor, │ │ Slack, DB, │
│ VS Code) │ │ Files...) │
└──────────────┘ └──────────────┘
- Агенти отримують реальні дані — прямий доступ до БД, файлів, API
- Менше галюцинацій — модель працює з верифікованою інформацією
- Мультиагентні системи — агенти координуються через стандартний протокол
- Vendor-neutral — підтримують Google, OpenAI, Microsoft, Anthropic, AWS
- Передано Agentic AI Foundation (Linux Foundation) — став індустріальним стандартом
- Додано MCP Apps — інтерактивні HTML-інтерфейси всередині чату
- Рух до stateless дизайну для масштабування
На базі обчислювального вузла WS (100.68.179.109) з клієнтом OpenCode та сервером llama-server (модель Gemma-4 26B MoE) розгорнуто та успішно протестовано інтеграцію локальних Python-основаних MCP-серверів:
- Obsidian Second Brain Integration (
obsidian_server.py):- Надає моделі прямий доступ до локального сховища нотаток
/root/gemma/brain/через інструментиlist_notes,read_note,write_note,search_notes_content. - Модель автоматично застосовує вікі-посилання
[[Note Name]]для зв'язування файлів та успішно працює з хронологічними логами.
- Надає моделі прямий доступ до локального сховища нотаток
- Пошук в інтернеті (
search_server.py):- Інтегрує пошуковий пайплайн Odysseus. При виникненні локальних конфліктів портів (наприклад, коли SearXNG недоступний) надійно відпрацьовує fallback-алгоритм із вилученням (scraping) контенту сторінок через парсер DuckDuckGo.
- Очищений HTML-вміст додається до контексту (додатково 5k-10k токенів), дозволяючи моделі формувати резюме на основі актуальної інформації.
Tip
Резолюція тестування: Інтеграція MCP-серверів через stdio-протокол у compiled-клієнти (OpenCode) не потребує встановлення глобальних npm/Node.js залежностей на хост-системі, що робить цей підхід максимально ізольованим та безпечним для домашніх AI-серверів.
| Шар | Інструмент | Роль |
|---|---|---|
| Моделі | Ollama / vLLM | Запуск LLM локально |
| Інтелект | Dify | Створення AI-додатків, RAG, агенти |
| Автоматизація | n8n | Інтеграція з зовнішніми сервісами |
| Інтерфейс | Open WebUI | Чат, RAG, робоче середовище |
| Платформа | Фокус | Підтримка Ollama | Складність | Найкраще для |
|---|---|---|---|---|
| Open WebUI | Чат + RAG | ✅ Native | ⭐ | 🏆 Щоденний AI-воркспейс |
| Dify | AI-додатки, агенти | ✅ | ⭐⭐ | Побудова AI-продуктів |
| n8n | Workflow автоматизація | ✅ (через API) | ⭐⭐ | Бізнес-процеси |
| Flowise | Візуальний LangChain | ✅ | ⭐ | No-code RAG |
| LibreChat | Мульти-провайдер чат | ✅ | ⭐ | Альтернатива Open WebUI |
| GPU | VRAM | Bandwidth | TDP | Ціна (USD)* | Сильна сторона |
|---|---|---|---|---|---|
| RTX 3060 | 12 GB | 360 GB/s | 170W | ~$200 (б/у) | 🏆 Бюджетний король — 12GB VRAM! |
| RTX 4060 | 8 GB | 272 GB/s | 115W | ~$300 | Енергоефективна, але 8GB мало |
| RTX 4060 Ti 16GB | 16 GB | 288 GB/s | 165W | ~$450 | Солідний вибір, 16GB |
| RTX 5060 | 8 GB | 448 GB/s | 150W | ~$350 | Найшвидша серед "60-х" |
| RTX 5070 | 12 GB | 672 GB/s | 250W | ~$550 | Преміум, висока bandwidth |
*Приблизні ціни на український ринок, травень 2026
Warning
"Пастка 8GB VRAM": RTX 4060 та RTX 5060 мають лише 8GB. Для серйозної роботи з LLM обирайте GPU з 12+ GB VRAM. Старший RTX 3060 12GB часто корисніший за новіший RTX 4060 8GB!
| Чіп | Unified Memory | Bandwidth | TDP | Ціна Mac (USD)* | Сильна сторона |
|---|---|---|---|---|---|
| M1 | 8–16 GB | 68 GB/s | 15W | ~$500 (б/у) | Мінімальний вхід |
| M2 | 8–24 GB | 100 GB/s | 22W | ~$700 (б/у) | Хороший баланс |
| M3 | 8–24 GB | 100 GB/s | 22W | ~$900 | Кращий GPU |
| M4 | 16–32 GB | 120 GB/s | 22W | ~$1100 | Новіша архітектура |
| M4 Pro | 24–64 GB | 273 GB/s | 30W | ~$1800 | 🏆 Ідеал для блекаутів |
| M4 Max | 36–128 GB | 546 GB/s | 40W | ~$2800+ | Максимальна продуктивність |
Tip
Apple Silicon — ідеальна платформа для українських реалій:
- 15-40W під повним навантаженням (RTX 3060 споживає 170W!)
- Unified Memory = модель бачить всю RAM як VRAM
- Працює від повербанку через USB-C
- MLX backend в Ollama дає +20-90% швидкості
LLM-інференс memory-bound, а не compute-bound. Для швидкості генерації (tokens/s) bandwidth пам'яті важливіший за кількість CUDA-ядер:
tokens/s ≈ memory_bandwidth / (model_size_in_bytes)
Тому RTX 5060 (448 GB/s) генерує швидше за RTX 4060 (272 GB/s) при однаковому розмірі моделі.
Для тих, хто тільки починає
- Google AI Studio (Gemini Flash безкоштовно)
- Google Colab (T4 GPU безкоштовно)
- Ollama на наявному ноутбуці (Gemma 4 E2B/E4B на CPU)
- Що можна: Вивчити основи, прототипувати промпти, спробувати агентів
Б/у GPU або Apple Silicon
| Варіант | Ціна | Що запускати |
|---|---|---|
| RTX 3060 12GB (б/у) + старий ПК | ~$200 | Phi-4 (14B/mini), Gemma 4 12B |
| MacBook Air M1 16GB (б/у) | ~$500 | Gemma 4 (E4B-12B), Phi-4 mini |
| Raspberry Pi 5 + API | ~$100 | Тільки API, тонкий клієнт |
Серйозна робота з моделями
| Варіант | Ціна | Що запускати |
|---|---|---|
| RTX 4060 Ti 16GB + ПК | ~$700 | Gemma 4 26B (MoE) / 31B, Mistral Small 4 |
| MacBook Air M2 24GB (б/у) | ~$800 | Будь-яка модель до 15B |
| Mini PC + RTX 3060 12GB | ~$500 | Виділений сервер 24/7 |
Production-рівень, мультиагентні системи
| Варіант | Ціна | Що запускати |
|---|---|---|
| Mac Mini M4 Pro 48GB | ~$1800 | Gemma 4 31B, Mistral Small 3.1 (24B), Phi-4 Reasoning-Vision 15B |
| RTX 5070 12GB + збірка | ~$1200 | Швидкий інференс, RAG |
| Proxmox сервер + GPU | ~$1000 | Повна лабораторія з ізоляцією |
Дослідження, великі моделі
| Варіант | Ціна | Що запускати |
|---|---|---|
| MacBook Pro M4 Max 128GB | ~$3500 | LLaMA 4 Scout (109B), Mistral Small 4 (119B MoE), Mistral Medium 3.5 (128B) |
| 2× RTX 3090 24GB (б/у) | ~$1600 | LLaMA 4 Scout (109B MoE, INT3/dynamic), Mistral Small 4 (119B MoE, INT3/dynamic) |
| Виділений сервер Hetzner | ~$50/міс | Cloud GPU на вимогу |
| Конфігурація | Idle | AI Load | Від EcoFlow 1024Wh |
|---|---|---|---|
| MacBook Air M2 | 5W | 22W | ~46 годин |
| Mac Mini M4 | 7W | 30W | ~34 години |
| Mac Mini M4 Pro | 10W | 40W | ~25 годин |
| Mini PC + RTX 3060 | 40W | 210W | ~5 годин |
| Full Tower + RTX 4060 Ti | 80W | 280W | ~3.5 години |
- Apple Silicon — безумовний лідер для блекаутів (15-40W)
- GPU power limit —
nvidia-smi -pl 100знижує TDP RTX 3060 з 170W до 100W з втратою лише ~15% продуктивності - EcoFlow Delta 2 (1024Wh) — оптимальний вибір для домашньої лаби
- UPS + mini PC — APC Back-UPS 600VA дає 15-30 хвилин для graceful shutdown
- Auto-shutdown скрипт — моніторинг заряду через
apcaccessабо SNMP
Important
При тривалих блекаутах перемикайтесь на хмарний режим (Gemini 3.1 Flash-Lite API) — мінімальні витрати при максимальній доступності.
Google AI Studio (Gemini 3.5 Flash) → вивчити промпт-інженерію
↓
Ollama + Gemma 4 E4B (на наявному ноуті) → перший локальний досвід
↓
Open WebUI → зручний інтерфейс
Ollama + Gemma 4 12B/26B / Phi-4 14B → локальний інференс
+
Gemini 3.5 Flash / 3.1 Flash-Lite API (резерв) → складні задачі
+
LangGraph + ChromaDB → перший RAG-проєкт
+
Open WebUI → щоденний робочий інтерфейс
vLLM + Mistral Small 3.1 (24B) → production API
+
Claude Sonnet 4.6 / GPT-5.4 API → код-рев'ю, складний аналіз
+
LangGraph + Qdrant → production RAG
+
Dify + n8n → автоматизація бізнес-процесів
+
MCP → інтеграція з зовнішніми системами
| Навичка | Рівень | Як продемонструвати |
|---|---|---|
| Локальне розгортання LLM | Junior | Docker Compose + Ollama + Open WebUI |
| RAG-пайплайн | Mid | LangGraph + ChromaDB + embedding model |
| Мультиагентна система | Mid-Senior | CrewAI / LangGraph + інструменти |
| Production API з vLLM | Senior | vLLM + моніторинг + auto-scaling |
| MCP інтеграції | Senior | Кастомні MCP-сервери |
| Fine-tuning | Expert | QLoRA + Unsloth + evaluation |
Станом на середину 2026 року спільнота r/LocalLLaMA та розробники локального ШІ виділяють кілька ключових тем:
- Еволюція «Thinking» моделей: Після випуску моделей з вбудованим покроковим міркуванням (CoT) та блоками
<think>(як-от DeepSeek-V4 чи Phi-4 Reasoning), ентузіасти активно інтегрують їх у локальні контури. Це суттєво підвищило точність у складних завданнях (код, математика), але збільшило час генерації першого токена (Time-to-First-Token). - Multi-Token Prediction (MTP) та Speculative Decoding: Технологія MTP у
llama.cppтаvLLMстала стандартом. Вона дозволяє використовувати малі моделі-драфтери для передбачення кількох токенів одночасно, що підвищує швидкість генерації на 50–80% на споживчих GPU (наприклад, RTX 3090/4090). - Втома від бенчмарків (Benchmark Fatigue): Ентузіасти висловлюють недовіру до синтетичних лідербордів (на кшталт LMSYS або HuggingFace Open LLM Leaderboard), які часто піддаються оптимізації («overfitting»). Пріоритет змістився на реальні оцінки в агентних сценаріях (SWE-bench Verified) та практичний досвід розробників («war stories»).
- Зниження VRAM-бар'єру через 3-бітну квантизацію: Завдяки вдосконаленим алгоритмам квантизації (IQ3_XS, Q3_K_L), моделі на 30B–70B параметрів тепер впевнено працюють на одній карті з 24GB VRAM із мінімальною втратою якості, що робить преміум-моделі доступними для широкого загалу.
- Масштабування Model Context Protocol (MCP): MCP став де-факто стандартом взаємодії. Ентузіасти створюють сотні локальних MCP-серверів для прямого підключення ШІ до баз даних, API та локальних файлових систем.
- Постійна моральна застарілість (Rapid Obsolescence): Швидкий темп виходу нових моделей (щоквартально) змушує відмовлятися від жорсткої прив'язки інфраструктури до конкретних версій ваг і переходити на динамічні оркестратори (LiteLLM/Ollama).
Зміна вектору розвитку ШІ у 2026 році демонструє відхід від простого використання потужних хмарних LLM до створення автономних локальних екосистем, що фокусуються на трьох ключових стовпах: локальність, стійка сесійна пам'ять та stealth-автоматизація.
Нижче наведено глибокий аналіз 5 знакових GitHub-проєктів (виділених у червневих медіа-оглядах), які задають цей тренд, та варіанти інтеграції їхнього досвіду в концепцію домашніх AI-лабораторій:
- Репозиторій: tinyhumansai/openhuman
- Суть: Локальний персональний асистент, що об'єднує дані користувача (пошта, документи, календар) з локальними SLM, забезпечуючи 100% приватність без звернення до зовнішніх API.
- Аналіз для HomeLab: Повністю відповідає філософії суверенітету даних. Використання OpenHuman демонструє, як звичайний ПК перетворюється на персонального ШІ-дворецького. В HomeLab-інфраструктурі OpenHuman може інтегруватися як локальний бекенд-асистент, що працює через Ollama та взаємодіє з користувачем через безпечний локальний API.
- Вимоги до заліза: Легко працює на базовому тиєрі (16-32 GB RAM, процесори сімейства Apple Silicon або Intel i7/Ryzen 7 з легкими моделями типу Gemma 4 E4B / Phi-4 mini).
- Репозиторій: CloakHQ/CloakBrowser
- Суть: Спеціалізований stealth-браузер для автоматизації складних web-сценаріїв (web scraping, OSINT, QA), який імітує поведінку реального користувача для запобігання блокуванням (Cloudflare, CAPTCHA).
- Аналіз для HomeLab: Критичний інструмент для локальних OSINT-помічників та бізнес-автоматизаторів (запланованих на Фазу 2 Roadmap). Звичайні headless-бібліотеки (Puppeteer/Playwright) часто блокуються сучасними системами захисту. Інтеграція підходу CloakBrowser у наші шаблони дозволить ШІ-агентам автономно збирати інформацію з мережі без ризику потрапити у бан.
- Вимоги до заліза: Низькі (процесори від 4 ядер, додаткова VRAM не потрібна, працює паралельно з інференсом LLM).
- Репозиторій: rohitg00/agentmemory
- Суть: Бібліотека для управління довготривалою пам'яттю ШІ-агентів між сесіями. Вона дозволяє агенту накопичувати історію рішень, фіксувати структуру коду та зберігати контекст без роздування основного вікна контексту моделі.
- Аналіз для HomeLab: Вирішує ключову проблему таких інструментів, як Claude Code чи наш
agent-code-cli— втрату контексту під час тривалих розмов. Використання векторних ембедінгів (наприклад, через локальнийnomic-embed-text) для збереження важливих "спогадів" у SQLite або ChromaDB дозволяє агенту "згадувати" деталі минулих сесій. Це фундаментальний крок для створення автономних кодувальників. - Вимоги до заліза: Додатково потребує ~100-200 MB ОЗУ для локальної векторної БД та легку ембедінг-модель.
- Репозиторій: supertone-inc/supertonic
- Суть: Відкрите рішення для локального синтезу мовлення (Text-to-Speech), що дозволяє озвучувати контент, створювати голосових ботів та інтегрувати ШІ-персонажів без використання платних хмарних підписок.
- Аналіз для HomeLab: Ключовий елемент інтерфейсу для розумного дому та систем оповіщення в умовах блекаутів (Blackout Guide). Локальний синтез мовлення дозволяє озвучувати сповіщення про зміну стану енергомережі, тривоги чи статус бекапу без інтернету та сторонніх сервісів.
- Вимоги до заліза: Рекомендовано наявність дискретної GPU або Apple Silicon для реального часу (low-latency generation).
- Репозиторій: HKUDS/ViMax
- Суть: Фреймворк для мультиагентної генерації та монтажу відео за текстовими сценаріями. Організований як віртуальна кіностудія: окремі агенти виступають сценаристами, режисерами, редакторами сплитів та монтажерами.
⚠️ ПОПЕРЕДЖЕННЯ ТА КОМПЛАЄНС: Хоча концепція мультиагентної взаємодії у ViMax є надзвичайно цікавою для вивчення архітектурних патернів (як координувати агентів із різними ролями), сам проєкт розроблений лабораторією HKUDS (University of Hong Kong). Згідно з Принципом 1 нашого Меморандуму (Технологічна Гігієна), використання інструментів із геополітично ризикованих країн (КНР) у HomeLab-інфраструктурі не рекомендується.- Аналіз для HomeLab: Ми вивчаємо архітектурний підхід ViMax (а саме розподіл ролей "сценарист ↔ режисер ↔ монтажер") для створення власних локальних мультиагентних шаблонів на базі суверенного стеку (LangGraph + Meta LLaMA 4 / Google Gemma 4), повністю виключаючи запуск коду самого репозиторію ViMax у безпечному контурі.
- Вимоги до заліза: Дуже високі для повної генерації (VRAM 24+ GB, потужні GPU або M-серії Mac).
Дослідження проведено 1 липня 2026. Ціни та характеристики можуть змінюватися.
AI-HomeLab — будуємо AI-майбутнє України 🇺🇦