Готовлю датасеты и дообучаю языковые модели под домен, терминологию и регламенты вашей компании. Fine-tuning нужен, когда базовая модель понимает задачу, но отвечает «не вашим языком» — путает статусы CRM, названия продуктов или отраслевой сленг.
С чем обычно приходят
Типичные ситуации, когда стандартные решения уже не справляются.
- Базовая LLM классифицирует обращения с точностью 60% — потому что не знает ваших категорий и внутренних статусов.
- Модель генерирует ответы клиентам в слишком формальном или, наоборот, разговорном тоне — не совпадает с брендом.
- RAG находит документы, но модель неправильно интерпретирует отраслевые термины: VIN, trade-in, квалификация лида.
- Команда пробовала prompt engineering — улучшения есть, но plateau на 75% качества, а нужно 90%+.
Как я работаю
Пошаговый процесс — от диагностики до передачи в эксплуатацию.
- 01
Аудит качества базовой модели
Прогоняю текущую модель на ваших кейсах, фиксирую типовые ошибки: терминология, формат ответа, классификация. Определяю, fine-tuning или RAG даст больший эффект.
- 02
Подготовка датасета
Собираю и размечаю обучающие примеры из истории обращений, переписки, регламентов. Очищаю, балансирую классы, разделяю train/validation/test.
- 03
Обучение и eval
Запускаю fine-tuning на выбранной базовой модели, сравниваю чекпоинты на hold-out наборе. Тюню гиперпараметры до достижения целевых метрик.
- 04
Деплой и передача
Разворачиваю дообученную модель в Ollama или inference-сервис, подключаю к продуктовым сценариям. Передаю процесс обновления датасета при изменении регламентов.
Что вы получаете
- Прирост качества фиксируется относительно baseline на hold-out eval; целевой уровень согласуется до обучения
- Ответы используют вашу терминологию и соблюдают формат регламентов
- Длина system prompt и стабильность формата сравниваются до и после fine-tuning
- Процесс обновления понятен: добавили примеры — переобучили — задеплоили
Что входит в проект
- Размеченный датасет для обучения и eval-набор
- Дообученная модель, развёрнутая в вашем inference-контуре
- Отчёт eval: метрики до и после fine-tuning на ваших кейсах
- Промпты и конфигурация inference для продакшен-сценариев
- Процесс обновления модели при изменении терминологии
- Документация по эксплуатации и мониторингу качества
Почему мне доверяют такие задачи
Михаил Клименко дообучал модели под предметные домены в рамках коммерческих CRM-продуктов. ESM-CRM и Lidora-CRM требовали точной терминологии автобизнеса и телемаркетинга — fine-tuning применяю там, где prompt engineering упирается в потолок, а RAG не закрывает стиль и классификацию.
Частые вопросы
Сколько данных нужно для fine-tuning?
Для классификации — от 200–500 примеров на класс. Для генерации ответов — от 1000 пар «вопрос-ответ». Качество разметки важнее объёма: 500 чистых примеров лучше 5000 шумных.
Fine-tuning или LoRA — в чём разница?
LoRA — эффективный метод fine-tuning, который обучает маленький адаптер поверх базовой модели. Быстрее, дешевле, проще обновлять. Для большинства бизнес-задач LoRA достаточно.
Как часто переобучать модель?
При изменении регламентов, новых категориях обращений или падении метрик на продакшене. Обычно — раз в квартал или по событию. Настраиваю мониторинг drift качества.
Можно ли дообучить локальную модель?
Да, если архитектура модели и формат LoRA совместимы с выбранным способом сборки и inference. Совместимость проверяю на пилоте; обучение идёт на своём или облачном GPU, а готовая модель разворачивается локально.
