AgentOps [Тариф Инженерный трек] [proglib.academy] [Кирилл Кухарев, Екатерина Трофимова]

Складчина: AgentOps [Тариф Инженерный трек] [proglib.academy] [Кирилл Кухарев, Екатерина Трофимова]

Курс для разработчиков и LLM инженеров о том, как внедрять AI-логику в бэкенд IT-продуктов и сохранять стабильность сервиса
После курса вы сможете запускать AI-сервисы в production и контролировать их поведение.

С какими задачами вы научитесь справляться:

1. Встроите AI-слой в backend-архитектуру
   API → оркестрация → инструменты → хранилище состояния → мониторинг
2. Сделаете поведение AI-агента предсказуемым
   лимиты • повторные запросы • контроль действий агента
3. Научитесь тестировать AI-логику
   датасеты • регрессионные тесты • проверки качества
4. Настроите наблюдаемость системы
   метрики • трассировка • оповещения
5. Будете контролировать стоимость
   лимиты токенов • бюджет на запрос • резервные модели
6. Настроите безопасные вызовы инструментов
   валидация • политики доступа • ограничения действий

Кем вы будете после курса:

• Backend-разработчик, работающий с AI-агентами

Что вы будете уметь:

• Проектировать backend-сервисы с AI-логикой
• Внедрять AI в существующую архитектуру
• Тестировать поведение AI-агентов
• Контролировать стоимость AI-запросов
• Обеспечивать надежность AI-агентов
• Отслеживать и отлаживать работу AI-агентов

Финальный проект – cервис с AI-логикой под вашу задачу:

• Имеет API
• Использует AI-инструменты
• Хранит состояние
• Содержит тесты
• Имеет систему мониторинга
• Контролирует стоимость запросов

Программа:

1. Где AI-агенты живут в backend-инфраструктуре
2. Интеграция LLM в backend
3. Оценка качества LLM в backend-сервисах
4. Инструменты агента и архитектура взаимодействия с внешними сервисами
5. RAG и работа с данными для AI-агента
6. Надёжность AI бэкенд-сервисов
7. Тестирование и оценка качества AI-систем
8. Оркестрация AI-агентов
9. Развертывание AI backend-сервиса
10. Трассировка, наблюдаемость и эксплуатация AI-сервисов
11. Управление затратами на AI-системы
12. Локальное внедрение и приватное развертывание AI-моделей
13. Проект: Production-ready AI backend (реальный кейс)

Спойлер: Полная программа

1. Где AI-агенты живут в backend-инфраструктуре
   • Теория:
     • Разберете, как интегрировать AI/LLM в backend-систему и какую роль в ней играют агенты;
     • Научитесь выбирать между агентом и workflow в зависимости от задачи;
     • Освоите типовые сценарии внедрения AI через API, внутренние инструменты и автоматизацию;
     • Оцените возможности и ограничения современных AI-решений.
   • Практика:
     • Соберете архитектурную карту AI-функциональности вашего сервиса;
     • Спроектируете схему интеграции AI-модулей в backend;
     • Определите зоны ответственности компонентов, чтобы избежать хаоса в разработке.
   • Результат:
     • Ваш сервис станет устойчивее и надежнее благодаря грамотно выстроенной архитектуре и четко определённым зонам ответственности.
2. Интеграция LLM в backend
   • Теория:
     • Научитесь встраивать LLM в backend-сервисы и определять место AI-логики в системе;
     • Узнаете, как правильно встраивать AI-логику в инфраструктуру приложения;
     • Разберете OpenAI-compatible API: как устроены запросы, как писать эффективные промпты и управлять параметрами модели;
     • Научитесь формировать структурированный вывод и проектировать понятные API-контракты;
     • Сравните workflow и агентный подход и выберете подходящий под задачу;
     • Поймете, как интегрировать внешние сервисы и инструменты, организовывать надежную оркестрацию запросов и обрабатывать возможные ошибки.
   • Практика:
     • Соберете каркас backend-сервиса с AI-логикой;
     • Настроите слой оркестрации запросов, чтобы система работала стабильно;
     • Реализуете API-контракты и схемы взаимодействия между компонентами.
   • Результат:
     • Встроите LLM в реальный backend, не нарушая архитектуру сервиса. Выберете подходящий подход (workflow или агент) под конкретную задачу, и обеспечите стабильную работу системы даже при непредсказуемом поведении модели.
3. Оценка качества LLM в backend-сервисах
   • Теория:
     • Познакомитесь с тем, что считать качеством работы LLM в продукте и чем оно отличается от классического backend;
     • Изучите offline и online метрики: как измерять качество, а не опираться на субъективные оценки;
     • Разберёте подходы к оценке генерации: релевантность, точность, полнота и выявление галлюцинаций;
     • Освоите методы A/B-тестирования и сбора пользовательской обратной связи;
     • Поймете, как отслеживать деградацию качества и балансировать качество, скорость и стоимость.
   • Практика:
     • Подготовите набор метрик для оценки качества AI-сервиса;
     • Спроектируете систему оценки и мониторинга качества в продакшене;
     • Настроите подход к тестированию и сравнению моделей, промптов и конфигураций.
   • Результат:
     • Контролируете качество AI-сервиса через метрики, тестирование и мониторинг, а не субъективную оценку. Своевременно выявляете деградацию и принимаете обоснованные решения по улучшению системы.
4. Инструменты агента и архитектура взаимодействия с внешними сервисами
   • Теория:
     • Освоите, как описывать и подключать инструменты (tools) для работы агента;
     • Научитесь писать описания инструментов так, чтобы агент вызывал их точно и в нужный момент;
     • Разберете логику выбора инструментов и спроектируете отдельный слой для работы с внешними сервисами;
     • Изучите типовые проблемы: ошибки вызовов, задержки, лимиты и способы их обработки.
   • Практика:
     • Опишете и зарегистрируете инструменты для своего агента;
     • Подключите внешние сервисы и настроите обработку ошибок и таймаутов;
     • Настроите выбор инструментов в зависимости от контекста задачи.
   • Результат:
     • Спроектируете слой с инструментами, который легко расширять новыми инструментами. Обеспечите устойчивость агента к сбоям внешних сервисов без падения всей системы.
5. RAG и работа с данными для AI-агента
   • Теория:
     • Освоите принципы RAG;
     • Изучите архитектуру базы знаний агента: индексирование документов, векторные базы данных и гибридный поиск;
     • Научитесь обновлять данные без потери качества и обеспечивать непротиворечивость знаний при росте базы;
     • Освоите интеграцию RAG как отдельного инструмента агента — с автоматическим выбором, когда и что искать.
   • Практика:
     • Самостоятельно настроите пайплайн индексирования и подключите векторную базу данных к своему агенту;
     • Реализуете поиск по базе знаний: векторный и по ключевым словам и сравните качество результатов;
     • Встроите RAG как инструмент: агент будет самостоятельно обращаться к базе, читать релевантные фрагменты и использовать их при генерации ответа.
   • Результат:
     • Построите систему, в которой агент работает с актуальными и проверенными данными, а не галлюцинирует. Используете RAG как полноценный инструмент агента — с поиском, чтением и применением данных из базы знаний в реальном времени.
6. Надёжность AI бэкенд-сервисов
   • Теория:
     • Изучите основные источники нестабильности в AI-сервисах: ошибки внешних API, превышение лимитов и непредсказуемые задержки LLM;
     • Освоите стратегии повторных запросов и принципы настройки оптимальных таймаутов;
     • Научитесь обеспечивать идемпотентность: гарантировать уникальность операций и избегать дублирования вызовов при повторах;
     • Освоите использование очередей сообщений как буфера между сервисами, стратегии снижения функциональности ради стабильности и схемы резервирования на случай полного отказа компонента.
   • Практика:
     • Соберете библиотеку обработки ошибок и таймаутов для своего AI-сервиса;
     • Настроите конфигурацию лимитов и таймаутов под реальные условия работы с LLM API;
     • Опишете и реализуете схему обработки отказов — что делает система, когда модель недоступна или возвращает ошибку.
   • Результат:
     • Построите сервис, который не падает при сбоях внешних провайдеров и корректно деградирует вместо полного отказа. Снизите число инцидентов в продакшене и настроите надежный AI backend с библиотекой обработки ошибок, таймаутами и схемой отказоустойчивости.
7. Тестирование и оценка качества AI-систем
   • Теория:
     • Изучите особенности тестирования AI-решений: почему классические unit-тесты здесь недостаточны и как работать с недетерминированными ответами модели;
     • Освоите принципы создания бенчмарков: как формировать их, выбирать метрики и фиксировать базовый уровень качества;
     • Освоите подходы к автоматизации проверки качества и сравнению версий промптов и конфигураций;
     • Научитесь формализовывать критерии прогресса: как определить, что «новая версия лучше», и избежать субъективных оценок.
   • Практика:
     • Разработаете бенчмарк качества для конкретной задачи своего агента: опишете тестовые кейсы, выберете метрики и зафиксируете показатели качества;
     • Запустите автоматизированную проверку и сравните две версии конфигураций по своему бенчмарку.
   • Результат:
     • Обоснуете изменения в промптах и конфигурациях данными, а не интуицией. Выстроите процесс итеративного улучшения AI-системы с измеримым контролем качества. Создадите собственный бенчмарк, адаптированный под конкретную задачу.
8. Оркестрация AI-агентов
   • Теория:
     • Разберете ключевые паттерны многоагентных систем и поймете, в каких сценариях применять каждый из них;
     • Освоите разделение ролей между управляющим агентом и рабочими агентами: кто принимает решения, а кто выполняет специализированные задачи;
     • Изучите механизмы передачи данных между агентами и принципы координации действий без конфликтов;
     • Освоите подходы к изоляции контекста: как обеспечивать независимую работу агентов и объединять их результаты в единый итог.
   • Практика:
     • Спроектируете схему оркестрации для многоагентной системы: определите роли агентов, потоки данных и точки управления;
     • Реализуете управляющую часть сервиса, которая запускает сабагентов, агрегирует результаты и принимает решение о следующем шаге.
   • Результат:
     • Декомпозируете сложную задачу на специализированных агентов и распределите нагрузку между ними. Построите систему, в которой сбой одного агента не останавливает всю оркестрацию.
9. Развертывание AI backend-сервиса
   • Теория:
     • Разберете основные шаблоны развертывания AI-сервисов и поймете, чем они отличаются от деплоя обычного backend-приложения;
     • Освоите принципы контейнеризации: как упаковать сервис с его зависимостями так, чтобы он стабильно работал в любой среде и легко масштабировался;
     • Изучите подходы к интеграции в инфраструктуру компании: подключение к внутренним сервисам, управление секретами и доступ к ресурсам;
     • Освоите требования к продакшн-запуску: конфигурирование окружений, управление переменными, логирование и стратегии обновления.
   • Практика:
     • Подготовите конфигурацию для развертывания AI-сервиса: от Dockerfile до настроек окружения;
     • Опишете сценарий обновления и релиза новой версии.
   • Результат:
     • Самостоятельно подготовите AI-сервис к запуску в инфраструктуре реальной компании. Обеспечите воспроизводимый деплой и безопасное обновление без ручных операций. Сформируете конфигурацию и сценарий релиза, применимые в реальном рабочем процессе.
10. Трассировка, наблюдаемость и эксплуатация AI-сервисов
    • Теория:
      • Разберете специфику мониторинга AI-сервисов: какие метрики и события важны для LLM-систем — латентность, стоимость токенов, качество ответов — и чем это отличается от классического backend-мониторинга;
      • Освоите принципы трассировки вызовов агентов: как отслеживать цепочку обращений к инструментам и зависимым компонентам и восстанавливать полный путь выполнения задачи;
      • Изучите подходы к наблюдению за качеством в продакшене: как фиксировать деградацию до того, как её заметят пользователи;
      • Освоите механизмы сбора пользовательской обратной связи и ее интеграцию в цикл улучшения сервиса.
    • Практика:
      • Настроите систему накопления и хранения данных о работе сервиса: логи вызовов, трассы агентов, метрики качества;
      • Реализуете механизм быстрого поиска и диагностики неполадок — чтобы при инциденте за минуты находить, на каком шаге и почему произошел сбой.
    • Результат:
      • Диагностируете деградацию качества AI-сервиса по данным мониторинга, а не по жалобам пользователей. Сократите время разбора инцидентов за счет полной трассировки цепочки вызовов. Получите настроенную систему наблюдаемости с трассировкой агентов, метриками качества и инструментами быстрой диагностики.
11. Управление затратами на AI-системы
    • Теория:
      • Разберете, как структура запроса влияет на стоимость вызова модели: длина контекста, количество токенов, выбор модели — и как небольшие изменения в промпте дают ощутимую экономию;
      • Освоите принципы подбора модели под задачу: когда дорогая модель избыточна и чем её можно заменить без потери качества;
      • Изучите механизмы кэширования результатов, оптимизации частоты вызовов и настройки лимитов — как на уровне бюджета, так и на уровне нагрузки;
      • Освоите понятие «цены качества»: как формализовать баланс между точностью ответов и стоимостью их получения при масштабировании.
    • Практика:
      • Сформируете схему настройки лимитов и бюджетов для своего AI-сервиса;
      • Построите карту контроля финансовых показателей: какие метрики собирать, как визуализировать расходы и где искать точки оптимизации.
    • Результат:
      • Осознанно выбираете модель и конфигурацию под конкретный сценарий: дешевый или ресурсоемкий. Формируете систему лимитов и бюджетов и карту финансового контроля, готовые к применению в реальном AI-сервисе.
12. Локальное внедрение и приватное развертывание AI-моделей
    • Теория:
      • Оцените, когда имеет смысл переходить на локальный интерфейс: контроль данных, независимость от провайдеров и предсказуемая стоимость;
      • Научитесь подбирать модель под задачу с учетом ресурсов: размер, архитектура, требования к памяти и GPU;
      • Освоите варианты инфраструктуры: оборудование, фреймворки (Ollama, vLLM, llama. cpp) и способы развертывания;
      • Освоите стратегии миграции с облачных API на локальные модели с минимальными изменениями в коде;
      • Учтете ограничения локальных решений и научитесь принимать архитектурные компромиссы.
    • Практика:
      • Развернете локальную модель в своей среде и подключите ее к сервису вместо внешнего API;
      • Измерите производительность и сравните качество с облачной моделью под свою задачу.
    • Результат:
      • Сможете выбирать между облаком и локальным развертыванием под требования проекта. Развернете приватную модель в инфраструктуре компании и будете контролировать данные, стоимость и производительность.
13. Проект: Production-ready AI backend (реальный кейс)
    • Доведете сервис до уровня, который можно показать работодателю:
      • Усилите архитектуру и структуру системы
      • Подключите мониторинг и контроль качества
      • Проверите стабильность работы агента
      • Интегрируете базу знаний (RAG)
      • Подготовите демонстрацию проекта
    • Результат:
      • AI backend-сервис, приближенный к продакшен-уровню и готовый для портфолио

Эксперты курса: Екатерина Трофимова, Андрей Носов, Александр Ошурков, Дмитрий Антипов, Антон Будняк, Кирилл Кухарев, Эмиль Сатаев

Тариф Инженерный трек

• 12 недель обучения
• 16 вебинаров
• 40+ часов практики
• Интеграция LLM в backend
• Работа с агентами и инструментами
• Работа с данными и базой знаний
• Архитектура и сложные сценарии
• Деплой и интеграция в инфраструктуру
• Мониторинг и диагностика в проде
• Контроль стоимости и оптимизация
• Доступ к материалам курса «Разработка ИИ-агентов»

Цена 109000 руб.
Скрытая ссылка