Складчина: Local LLMs via Ollama & LM Studio - The Practical Guide [udemy] [Maximilian Schwarzmüller]
Разблокируйте силу частного, мощного ИИ на своем собственном ПК!
ChatGPT, Google Gemini и все другие чат-боты AI являются стандартными инструментами для повседневного использования. Но, как и все инструменты, они не являются лучшим выбором для всех задач.
Этот курс научит вас, как использовать открытые LLM, такие как модели Meta Llama, модели Google Gemma или модели DeepSeek для запуска рабочих нагрузок ИИ и чат-ботов AI прямо на вашем компьютере - независимо от того, является ли это ПК высокого класса или обычным ноутбуком.
Для кого курс:
Начинающие и продвинутые пользователи чат-ботов AI & LLM
Профессионалы, которые требуют высокой степени конфиденциальности данных
Технологические энтузиасты и пользователи ИИ, которые хотят выйти за рамки основ
Что вы освоите:
Open LLM Landscape: Поймите, что такое открытые модели и почему они имеют значение (и где их найти).
Hardware Demystified: Изучите реалистичные требования к оборудованию для локального запуска LLM.
Объяснение квантования: Раскройте технику, которая делает возможным запуск огромных моделей на потребительском оборудовании.
LM Studio In-Depth: Получите практические результаты с установкой, настройкой, выбором, загрузкой и запуском моделей с использованием LM Studio.
Ollama Mastery: Научитесь устанавливать, настраивать и взаимодействовать с моделями через Ollama.
Реальные случаи использования: применяйте свои знания к практическим задачам, таким как изображение OCR (чтение текста с изображений), обобщение документов PDF, освоение нескольких снимков и создание творческого контента.
Программная сила: Узнайте, как интегрировать эти локально запущенные модели в свои собственные скрипты и приложения, используя их встроенные API (LM Studio & Ollama).
И многое другое! Создайте прочную основу и получите уверенность в изучении огромного потенциала местного ИИ.
Требования:
Базовое понимание функциональности и использования LLM
Не нужны продвинутые знания в программировании
Не менее 8 ГБ (V)RAM (если вы хотите запускать модели локально)
Программа:
1. Введение
Добро пожаловать на Курс!
Что такое «Открытые LLM»?
Почему Вы хотите запускать открытые LLM локально?
Популярные открытые LM - некоторые примеры
Где Можно открыть LLM?
Работа Lms Локально - доступные варианты
Проверьте Лицензии На Модель!
Слайды курса
2. Понимание требований к оборудованию & Квантование
Модуль Введение
Требования к оборудованию LLM - первые шаги
Получение требований к оборудованию от параметров модели
Квантизация во спасение!
Он Работает На Вашей Машине?
3. Глубокое погружение в LM Studio
Модуль Введение
Работает локально против удаленного
Установка и использование LM Studio
Поиск, загрузка и активация открытых LLM
Использование интерфейса LM Studio Chat
Работа с системными подсказками и пресетами
Управление чатами
Функции Power User Для Управления Моделями И Чатов
Использование Мультимодальных Моделей И Извлечение Содержимого Из Изображений (OCR)
Анализ и обобщение документов PDF
Вперед К Более Продвинутым Настройкам
Понимание температуры, top_k & top_p
Контроль температуры, top_k & top_p в LM Studio
Управление базовой конфигурацией Runtime & Hardware
Управление Длиной Контекста
Использование Flash Внимание
Работа Со Структурированными Выходами
Использование Локальных LLM Для Генерации Кода
Генерация контента и несколько выстрелов (Prompt Engineering)
Вперед К Программному Использованию
Совместимость LM Studio и ее OpenAI
Больше примеров кода!
Погружаясь Глубже В API Студии LM
Использование Python / JavaScript SDKs
4. Глубокое погружение в Ollama Studio
Модуль Введение
Установка и запуск Ollama
Поиск пригодных для использования открытых моделей
Запуск Открытых LLMs Локально через Ollama
Добавление графического интерфейса с открытым WebUI
Работа с многолинейными сообщениями и вводом изображений (многообразие)
Проверка Моделей И Извлечение Информации О Типовой Образце
Редактирование Системные Сообщения И Параметры Модели
Сессии и модели сохранения и загрузки
Управление моделями
Создание модельных чертежей с помощью Model Files
Создание Моделей Из Modelfiles
Изучая смысл типовых шаблонов
Построение модели с нуля из файла GGUF
Начало работы с сервером Ollama (API)
Исследование Ollama API и программный доступ к модели
Получение структурированного вывода
Больше примеров кода!
Использование Python / JavaScript SDKs
5. Итоги
Итоги
Бонусная лекция
Спойлер: Оригинальное описание
Unlock the Power of Private, Powerful AI on Your Own PC!
ChatGPT, Google Gemini and all those other AI chatbots are standard tools for everyday use. But like all tools, they're not the best choices for all tasks. When privacy, cost, offline access, or deep customization matter, running powerful open models locally on your own computer beats all those proprietary models and third-party AI chatbots.
This course will teach you how to leverage open LLMs like Meta's Llama models, Google's Gemma models or DeepSeek models to run AI workloads and AI chatbots right on your machine - no matter if it's a high-end PC or a normal laptop.
This course is tailor-made for:
Developers looking to integrate powerful, private AI into their workflows or applications.
Tech enthusiasts eager to experiment with cutting-edge AI without the cloud constraints.
Privacy-conscious individuals wanting full control over their data when using AI.
Anyone seeking powerful AI solutions without ongoing subscription costs.
Students and professionals aiming to add practical, in-demand AI skills to their toolkit.
Course Overview:
The Open LLM Landscape: Understand what open models are and why they matter (and where to find them).
Hardware Demystified: Learn the realistic hardware requirements for running LLMs locally
Quantization Explained: Uncover the technique that makes running huge models feasible on consumer hardware.
LM Studio In-Depth: Get hands-on with installing, configuring, selecting, downloading, and running models using LM Studio.
Ollama Mastery: Learn to install, configure, and interact with models seamlessly via Ollama.
Real-World Use Cases: Apply your knowledge to practical tasks like image OCR (reading text from images), summarizing PDF documents, mastering few-shot prompting, and generating creative content.
Programmatic Power: Discover how to integrate these locally running models into your own scripts and applications using their built-in APIs (LM Studio & Ollama).
And much more! Build a solid foundation and gain the confidence to explore the vast potential of local AI.
Requirements:
Basic understanding of LLM functionality & usage
no programming or advanced technical expertise is required
If you want to run models locally: At least 8 GB of (V)RAM will be required
Course content:
1. Introduction
Welcome To The Course!
What Exactly Are "Open LLMs"?
Why Would You Want To Run Open LLMs Locally2
Popular Open LLMs - Some Examples
Where To Find Open LLMs?
Running LLMs Locally - Available Options
Check The Model Licenses!
Course Slides
2. Understanding Hardware Requirements & Quantization
Module Introduction
LLM Hardware Requirements - First Steps
Deriving Hardware Requirements From Model Parameters
Quantization To The Rescue!
Does It Run On Your Machine?
3. LM Studio Deep Dive
Module Introduction
Running Locally vs Remotely
Installing & Using LM Studio
Finding, Downloading & Activating Open LLMs
Using the LM Studio Chat Interface
Working with System Prompts & Presets
Managing Chats
Power User Features For Managing Models & Chats
Leveraging Multimodal Models & Extracting Content From Images (OC
Analyzing & Summarizing PDF Documents
Onwards To More Advanced Settings
Understanding Temperature, top_k&top_p
Controlling Temperature, top_k &top_pin LM Studio
Managing the Underlying Runtime & Hardware Configuration
Managing Context Length
Using Flash Attention
Working With Structured Outputs
Using Local LLMs For Code Generation
Content Generation & Few Shot Prompting (Prompt Engineering)
Onwards To Programmatic Use
LM Studio & Its OpenAl Compatibility
More Code Examples!
Diving Deeper Into The LM Studio APIs
Using the Python / JavaScript SDKs
4. Ollama Deep Dive
Module Introduction
Installing & Starting Ollama
Finding Usable Open Models
Running Open LLMs Locally via Ollama
Adding a GUI with Open Web UI
Dealing with Multiline Messages & Image Input (Multimodality
Inspecting Models & Extracting Model Information
Editing System Messages & Model Parameters
Saving & Loading Sessions and Models
Managing Models
Creating Model Blueprints via Model files
Creating Models From Model files
Making Sense of Model Templates
Building a Model From Scratch From a GGUF File
Getting Started with the Llama Server (API)
Exploring the Llama API & Programmatic Model Access
Getting Structured Output
More Code Examples!
Using the Python / JavaScript SDKs
5. Course Roundup
Roundup
Bonus Lecture
Язык английский
Цена ~1800 руб. (19.99 евро)
СЛИВ СКЛАДЧИН
Разблокируйте силу частного, мощного ИИ на своем собственном ПК!
ChatGPT, Google Gemini и все другие чат-боты AI являются стандартными инструментами для повседневного использования. Но, как и все инструменты, они не являются лучшим выбором для всех задач.
Этот курс научит вас, как использовать открытые LLM, такие как модели Meta Llama, модели Google Gemma или модели DeepSeek для запуска рабочих нагрузок ИИ и чат-ботов AI прямо на вашем компьютере - независимо от того, является ли это ПК высокого класса или обычным ноутбуком.
Для кого курс:
Начинающие и продвинутые пользователи чат-ботов AI & LLM
Профессионалы, которые требуют высокой степени конфиденциальности данных
Технологические энтузиасты и пользователи ИИ, которые хотят выйти за рамки основ
Что вы освоите:
Open LLM Landscape: Поймите, что такое открытые модели и почему они имеют значение (и где их найти).
Hardware Demystified: Изучите реалистичные требования к оборудованию для локального запуска LLM.
Объяснение квантования: Раскройте технику, которая делает возможным запуск огромных моделей на потребительском оборудовании.
LM Studio In-Depth: Получите практические результаты с установкой, настройкой, выбором, загрузкой и запуском моделей с использованием LM Studio.
Ollama Mastery: Научитесь устанавливать, настраивать и взаимодействовать с моделями через Ollama.
Реальные случаи использования: применяйте свои знания к практическим задачам, таким как изображение OCR (чтение текста с изображений), обобщение документов PDF, освоение нескольких снимков и создание творческого контента.
Программная сила: Узнайте, как интегрировать эти локально запущенные модели в свои собственные скрипты и приложения, используя их встроенные API (LM Studio & Ollama).
И многое другое! Создайте прочную основу и получите уверенность в изучении огромного потенциала местного ИИ.
Требования:
Базовое понимание функциональности и использования LLM
Не нужны продвинутые знания в программировании
Не менее 8 ГБ (V)RAM (если вы хотите запускать модели локально)
Программа:
1. Введение
Добро пожаловать на Курс!
Что такое «Открытые LLM»?
Почему Вы хотите запускать открытые LLM локально?
Популярные открытые LM - некоторые примеры
Где Можно открыть LLM?
Работа Lms Локально - доступные варианты
Проверьте Лицензии На Модель!
Слайды курса
2. Понимание требований к оборудованию & Квантование
Модуль Введение
Требования к оборудованию LLM - первые шаги
Получение требований к оборудованию от параметров модели
Квантизация во спасение!
Он Работает На Вашей Машине?
3. Глубокое погружение в LM Studio
Модуль Введение
Работает локально против удаленного
Установка и использование LM Studio
Поиск, загрузка и активация открытых LLM
Использование интерфейса LM Studio Chat
Работа с системными подсказками и пресетами
Управление чатами
Функции Power User Для Управления Моделями И Чатов
Использование Мультимодальных Моделей И Извлечение Содержимого Из Изображений (OCR)
Анализ и обобщение документов PDF
Вперед К Более Продвинутым Настройкам
Понимание температуры, top_k & top_p
Контроль температуры, top_k & top_p в LM Studio
Управление базовой конфигурацией Runtime & Hardware
Управление Длиной Контекста
Использование Flash Внимание
Работа Со Структурированными Выходами
Использование Локальных LLM Для Генерации Кода
Генерация контента и несколько выстрелов (Prompt Engineering)
Вперед К Программному Использованию
Совместимость LM Studio и ее OpenAI
Больше примеров кода!
Погружаясь Глубже В API Студии LM
Использование Python / JavaScript SDKs
4. Глубокое погружение в Ollama Studio
Модуль Введение
Установка и запуск Ollama
Поиск пригодных для использования открытых моделей
Запуск Открытых LLMs Локально через Ollama
Добавление графического интерфейса с открытым WebUI
Работа с многолинейными сообщениями и вводом изображений (многообразие)
Проверка Моделей И Извлечение Информации О Типовой Образце
Редактирование Системные Сообщения И Параметры Модели
Сессии и модели сохранения и загрузки
Управление моделями
Создание модельных чертежей с помощью Model Files
Создание Моделей Из Modelfiles
Изучая смысл типовых шаблонов
Построение модели с нуля из файла GGUF
Начало работы с сервером Ollama (API)
Исследование Ollama API и программный доступ к модели
Получение структурированного вывода
Больше примеров кода!
Использование Python / JavaScript SDKs
5. Итоги
Итоги
Бонусная лекция
Спойлер: Оригинальное описание
Unlock the Power of Private, Powerful AI on Your Own PC!
ChatGPT, Google Gemini and all those other AI chatbots are standard tools for everyday use. But like all tools, they're not the best choices for all tasks. When privacy, cost, offline access, or deep customization matter, running powerful open models locally on your own computer beats all those proprietary models and third-party AI chatbots.
This course will teach you how to leverage open LLMs like Meta's Llama models, Google's Gemma models or DeepSeek models to run AI workloads and AI chatbots right on your machine - no matter if it's a high-end PC or a normal laptop.
This course is tailor-made for:
Developers looking to integrate powerful, private AI into their workflows or applications.
Tech enthusiasts eager to experiment with cutting-edge AI without the cloud constraints.
Privacy-conscious individuals wanting full control over their data when using AI.
Anyone seeking powerful AI solutions without ongoing subscription costs.
Students and professionals aiming to add practical, in-demand AI skills to their toolkit.
Course Overview:
The Open LLM Landscape: Understand what open models are and why they matter (and where to find them).
Hardware Demystified: Learn the realistic hardware requirements for running LLMs locally
Quantization Explained: Uncover the technique that makes running huge models feasible on consumer hardware.
LM Studio In-Depth: Get hands-on with installing, configuring, selecting, downloading, and running models using LM Studio.
Ollama Mastery: Learn to install, configure, and interact with models seamlessly via Ollama.
Real-World Use Cases: Apply your knowledge to practical tasks like image OCR (reading text from images), summarizing PDF documents, mastering few-shot prompting, and generating creative content.
Programmatic Power: Discover how to integrate these locally running models into your own scripts and applications using their built-in APIs (LM Studio & Ollama).
And much more! Build a solid foundation and gain the confidence to explore the vast potential of local AI.
Requirements:
Basic understanding of LLM functionality & usage
no programming or advanced technical expertise is required
If you want to run models locally: At least 8 GB of (V)RAM will be required
Course content:
1. Introduction
Welcome To The Course!
What Exactly Are "Open LLMs"?
Why Would You Want To Run Open LLMs Locally2
Popular Open LLMs - Some Examples
Where To Find Open LLMs?
Running LLMs Locally - Available Options
Check The Model Licenses!
Course Slides
2. Understanding Hardware Requirements & Quantization
Module Introduction
LLM Hardware Requirements - First Steps
Deriving Hardware Requirements From Model Parameters
Quantization To The Rescue!
Does It Run On Your Machine?
3. LM Studio Deep Dive
Module Introduction
Running Locally vs Remotely
Installing & Using LM Studio
Finding, Downloading & Activating Open LLMs
Using the LM Studio Chat Interface
Working with System Prompts & Presets
Managing Chats
Power User Features For Managing Models & Chats
Leveraging Multimodal Models & Extracting Content From Images (OC
Analyzing & Summarizing PDF Documents
Onwards To More Advanced Settings
Understanding Temperature, top_k&top_p
Controlling Temperature, top_k &top_pin LM Studio
Managing the Underlying Runtime & Hardware Configuration
Managing Context Length
Using Flash Attention
Working With Structured Outputs
Using Local LLMs For Code Generation
Content Generation & Few Shot Prompting (Prompt Engineering)
Onwards To Programmatic Use
LM Studio & Its OpenAl Compatibility
More Code Examples!
Diving Deeper Into The LM Studio APIs
Using the Python / JavaScript SDKs
4. Ollama Deep Dive
Module Introduction
Installing & Starting Ollama
Finding Usable Open Models
Running Open LLMs Locally via Ollama
Adding a GUI with Open Web UI
Dealing with Multiline Messages & Image Input (Multimodality
Inspecting Models & Extracting Model Information
Editing System Messages & Model Parameters
Saving & Loading Sessions and Models
Managing Models
Creating Model Blueprints via Model files
Creating Models From Model files
Making Sense of Model Templates
Building a Model From Scratch From a GGUF File
Getting Started with the Llama Server (API)
Exploring the Llama API & Programmatic Model Access
Getting Structured Output
More Code Examples!
Using the Python / JavaScript SDKs
5. Course Roundup
Roundup
Bonus Lecture
Язык английский
Цена ~1800 руб. (19.99 евро)
СЛИВ СКЛАДЧИН
Для просмотра скрытого содержимого вы должны зарегистрироваться
Возможно, Вас ещё заинтересует:
- Психоанализ для жизни [stepik] [Московский институт психоанализа]
- ChatGPT для Excel [ZeroToMastery] [Travis Cuzick]
- [Аудиокнига] Сорока на виселице [Эдуард Веркин]
- Сорока на виселице [Эдуард Веркин]
- [Вязание] Вязанный спицами элегантный ажурный шарфик Peacock [Вяжи.ру] [LeKnit] [Lene Holme Samsоe]
- Онлайн кундалини марафон процветания [Наташа Гулева]