LLM и API Security: буткемп по тестированию безопасности AI [Udemy] [Bayt Al Hikmah]

Складчина: LLM и API Security: буткемп по тестированию безопасности AI [Udemy] [Bayt Al Hikmah]

LLM & API Security: AI Penetration Testing Bootcamp
Язык: Английский



От новичка в промпт-инжектинге до инженера по безопасности ИИ: создайте, протестируйте и защитите 100 реальных лабораторий по работе с большими языковыми моделями.

О курсе
Практический курс по комплексной безопасности приложений на базе больших языковых моделей и AI-систем.
Обучение построено вокруг 100 последовательных лабораторных работ, в которых участник самостоятельно создаёт локальную инфраструктуру для тестирования LLM-приложений, исследует её уязвимости, внедряет защитные механизмы и проверяет их эффективность.
Курс охватывает не только Prompt Injection, но и безопасность API, RAG, векторных баз данных, AI-агентов, MCP, цепочки поставок, CI/CD, Kubernetes, мониторинг, реагирование на инциденты и AI Red Teaming.
Практика выполняется в локальной, специально созданной и намеренно уязвимой среде.

Чему вы научитесь

• Создайте и разверните с нуля полный набор средств защиты приложений LLM с помощью FastAPI, Docker и макета шлюза LLM.
• Составьте карту поверхностей атак LLM, границ доверия и 10 основных рисков OWASP LLM, используя модели угроз, согласованные с MITRE ATLAS.
• Предотвращайте прямой и косвенный подпрос, утечку системных подсказок и небезопасный рендеринг выходных данных.
• Внедряйте аутентификацию API, проверку JWT, изоляцию клиентов и ограничение скорости, чтобы предотвратить злоупотребления большими языковыми моделями.
• Создайте и защитите конвейер RAG: прием данных, встраивание, векторные хранилища, фильтрацию метаданных и защиту от «отравления» при извлечении данных.
• Разработайте агентские системы с минимальными привилегиями, с фильтрами утверждений, «песочницей» и проверками безопасности с использованием протокола Model Context.
• Автоматизируйте «красную» работу с искусственным интеллектом с помощью garak, PyRIT и пользовательских средств фаззинга, интегрированных в CI-совместимые системы безопасности.
• Защитите цепочку поставок программного обеспечения с помощью сканирования Trivy, SBOM от Syft, проверок Grype и планов подписи образов от Cosign.
• Разверните защищенные рабочие нагрузки в Kubernetes с помощью kind, политик допуска и идентификации рабочих нагрузок SPIFFE/SPIRE.
• Обеспечьте наблюдаемость, реагирование на инциденты и контроль нецелевого использования средств, а затем внедрите независимую систему, готовую к аудиту.

Материалы курса

• 12 разделов • 112 лекций • Общая продолжительность 26 ч 56 мин
• Вступление
• Модуль 1: Foundations, Local Environment Setup, and Initial Success
• Модуль 2: LLM Attack Surface and Threat Modeling
• Модуль 3: Оперативный ввод, обработка выходных данных и предоставление доступа к данным
• Модуль 4: Безопасность API, идентификация и авторизация для приложений LLM
• Модуль 5: RAG, встраивания, векторные хранилища и управление данными
• Модуль 6: Агентские системы, инструменты, MCP и избыточное агентство
• Модуль 7: Автоматизированное объединение в группы, фаззинг и конвейеры оценки Red Teaming
• Модуль 8: Безопасность платформы, цепочка поставок и CI/CD
• Модуль 9: Наблюдаемость, реагирование на инциденты, надежность и контроль затрат
• Модуль 10: Sovereign Deployment, Decentralized Research, and Capstone
• Вывод

Спойлер: Программа подробно:

Модуль 1. Основы и создание локальной среды
• Подготовка локальной лаборатории для исследования LLM Security
• Создание управляющих скриптов
• Создание минимального LLM API Gateway на FastAPI
• Контейнеризация приложения
• Docker Compose
• Подключение локального Mock LLM
• Создание намеренно уязвимого Chat Endpoint
• Проведение первого контролируемого тестирования
• Создание Security Regression Test
• Исправление утечки системного промпта
• Подготовка воспроизводимого отчёта об уязвимости

Модуль 2. Поверхность атаки LLM и моделирование угроз
• Построение схемы потоков данных LLM-приложения
• Создание реестра рисков OWASP LLM
• Сопоставление техник с MITRE ATLAS
• Создание OpenAPI-контракта
• Исследование поверхности API
• Определение сценариев злоупотребления LLM API
• Построение модели угроз
• Определение границ доверия
• Оценка вероятности и воздействия уязвимостей
• Создание плана тестирования безопасности
• Архитектурный анализ системы

Модуль 3. Prompt Injection, обработка вывода и утечки данных
• Тестирование Direct Prompt Injection
• Тестирование Indirect Prompt Injection
• Prompt Injection через полученные системой документы
• Фильтрация результатов работы LLM
• Принудительное использование структурированного JSON
• Исследование небезопасного Markdown и HTML
• Ограничение длины и состава входных данных
• Проверка утечек персональной информации
• Удаление PII из журналов
• Проверка стабильности отказов модели
• Комплексное тестирование Prompt и Output Security

Модуль 4. API Security, идентификация и авторизация
• Аутентификация через API Key
• Проверка отсутствующих и недействительных учётных данных
• Безопасное хранение секретов
• Перенос секретов в переменные окружения
• Проверка JWT
• Проектирование Tenant Isolation
• OpenAPI Security Schemes
• Rate Limiting
• Защита от Unbounded Consumption
• Добавление Audit ID к запросам и ответам
• Безопасная обработка ошибок авторизации
• Комплексная проверка API Security

Модуль 5. RAG, embeddings, векторные базы и управление данными
• Создание локального конвейера загрузки документов
• Добавление метаданных
• Отслеживание источников данных
• Развёртывание локального Vector Store
• Создание тестовой функции Embedding
• Tenant Isolation в Vector Store
• Имитация Retrieval Poisoning
• Allowlist доверенных источников
• Удаление и хранение данных
• Аудит RAG-запросов
• Комплексное тестирование безопасности RAG

Модуль 6. AI-агенты, инструменты и MCP
• Создание безопасного реестра инструментов
• Проверка схем инструментов
• Least Privilege для Tool Calls
• Подтверждение человеком действий среднего риска
• Имитация Tool Poisoning
• Анализ безопасности Model Context Protocol
• Проектирование Sandboxed Tool Execution
• Исследование загрязнения памяти AI-агента
• Аудит действий агента
• Комплексная проверка Agentic AI Security

Модуль 7. Автоматизированный AI Red Teaming и Fuzzing
• Установка garak
• Создание локальной цели для garak
• Установка PyRIT
• Контролируемое тестирование AI-рисков
• Создание собственного Prompt Fuzzing Harness
• Оценка результатов тестирования
• Создание Regression Corpus
• Интеграция тестирования в CI
• Создание Evaluation Dashboard
• Анализ False Positive и False Negative
• Комплексный Automated Red Teaming

Модуль 8. Безопасность платформы, цепочки поставок и CI/CD
• Сканирование контейнеров с Trivy
• Создание SBOM с Syft
• Проверка SBOM с Grype
• Подписание контейнерных образов с Cosign
• SLSA-подходы к безопасности сборки
• Развёртывание локального Kubernetes с kind
• Kubernetes Manifest Security
• Политики Kubernetes
• Kyverno и Gatekeeper
• Проектирование Workload Identity
• SPIFFE / SPIRE
• Комплексная проверка Supply Chain Security

Модуль 9. Мониторинг, реагирование на инциденты и надёжность
• Структурированные Security Logs
• OpenTelemetry
• Метрики для LLM Security Operations
• Тестирование злоупотребления стоимостью AI
• Создание правил оповещения
• LLM Security Incident Playbook
• Защита от отказов Model Gateway
• Chaos Testing
• Проверка резервного копирования
• Проверка восстановления данных
• Комплексное тестирование операционной устойчивости

Практический подход
Курс построен практически полностью вокруг самостоятельной работы.

Каждая лаборатория включает:
• предварительную проверку среды
• создание контрольного состояния
• реализацию механизма
• проверку результата
• возможность отката изменений
• анализ ошибок
• исправление найденной уязвимости
• повторную проверку безопасности

Практика постепенно усложняется: от создания простого локального LLM Gateway до построения полноценной архитектуры безопасности AI-приложения.

Используемые технологии и инструменты

• Python
• FastAPI
• Docker
• Docker Compose
• Git
• OpenAPI
• JWT
• RAG
• Embeddings
• Vector Stores
• Qdrant
• MCP
• garak
• PyRIT
• Trivy
• Syft
• Grype
• Cosign
• Kubernetes
• kind
• Kyverno
• Gatekeeper
• SPIFFE
• SPIRE
• OpenTelemetry

Итоговый проект
Финальная часть программы — Lab 100.
Вместо обычного теста студент создаёт полноценный пакет доказательств проведённого тестирования безопасности.

В итоговый проект входят:
• архитектурная документация
• результаты тестирования
• модель угроз
• данные об обнаруженных проблемах
• подтверждение внедрённых средств защиты
• матрица соответствия требованиям
• результаты Security Regression Tests
• итоговый отчёт по рискам
• контрольная SHA-256 сумма проекта

В результате формируется практическая работа, которую можно использовать для демонстрации навыков AI Security.

Требования

• Базовые навыки работы с командной строкой
• Умение запускать команды и перемещаться между каталогами
• Базовое знание Python: переменные, функции и простые скрипты
• Предварительный опыт работы с FastAPI не требуется
• Предварительный опыт API Security не требуется
• Сертификация по информационной безопасности не требуется
• Компьютер с macOS, Linux либо Windows с WSL2
• Не менее 8 ГБ оперативной памяти
• Для модулей Kubernetes и Vector Store рекомендуется 16 ГБ оперативной памяти
• Не менее 15 ГБ свободного места на диске
• Docker Desktop либо Docker Engine
• Git
• Python версии 3.11 или новее

Облачная учётная запись и платные API-ключи не требуются.
Все лабораторные работы выполняются локально на специально созданной тестовой системе.

Для кого предназначен курс

• Специалисты Application Security
• Пентестеры
• Специалисты по тестированию веб-приложений и REST API, желающие перейти к AI Security
• Backend-разработчики
• Platform Engineers
• Разработчики LLM-приложений
• Разработчики чат-ботов и AI Copilot
• Разработчики агентных AI-систем
• Специалисты AI Red Team
• AI Security Engineers
• Platform Security Engineers
• Специалисты по информационной безопасности, желающие получить практический опыт LLM Security
• Студенты и специалисты, планирующие карьеру в AI Security

Особенности курса

• Курс не ограничивается демонстрацией отдельных Jailbreak или Prompt Injection.
• Основная задача — научить комплексно исследовать архитектуру LLM-приложения:
• API Gateway
• слой аутентификации и авторизации
• RAG
• Vector Store
• AI Tools
• Agentic Workflows
• MCP
• контейнерную инфраструктуру
• CI/CD
• Kubernetes
• аудит и журналирование
• реагирование на инциденты

К концу обучения студент должен уметь не только находить уязвимости, но и исправлять их, создавать автоматизированные проверки и подтверждать эффективность реализованных мер защиты.

Спойлер: Оригинальное описание на английском языке

LLM & API Security: AI Penetration Testing Bootcamp
From prompt-injection novice to production AI security engineer: build, test, and harden 100 real-world LLM labs.

What you'll learn
• Architect and deploy a full LLM application security range using FastAPI, Docker, and a mock LLM gateway from scratch.
• Map LLM attack surfaces, trust boundaries, and OWASP LLM Top 10 risks using MITRE ATLAS-aligned threat models.
• Execute and defend against direct and indirect prompt injection, system prompt leakage, and unsafe output rendering.
• Implement API authentication, JWT validation, tenant isolation, and rate limiting to stop unbounded LLM abuse.
• Build and secure a RAG pipeline: ingestion, embeddings, vector stores, metadata filtering, and retrieval poisoning defenses.
• Design least-privilege agentic tool systems with approval gates, sandboxing, and Model Context Protocol security reviews.
• Automate AI red teaming with garak, PyRIT, and custom fuzzing harnesses wired into CI-compatible security gates.
• Harden the software supply chain with Trivy scans, Syft SBOMs, Grype checks, and Cosign image signing plans.
• Deploy hardened workloads to Kubernetes with kind, admission policies, and SPIFFE/SPIRE workload identity design.
• Engineer observability, incident response, and cost-abuse controls, then ship a sovereign, audit-ready capstone system.

Course content

• 12 sections
• 112 lectures
• 26h 56m total length
• 100 sequential hands-on labs

Requirements

• Basic comfort with the command line — running commands and navigating directories.
• Working knowledge of Python fundamentals including variables, functions and basic scripting.
• You do not need prior FastAPI or API experience. These topics are taught inside the labs.
• A computer running macOS, Linux, or Windows with WSL2.
• At least 8GB RAM. 16GB is recommended for the Kubernetes and vector store modules.
• At least 15GB of free disk space.
• Docker Desktop or Docker Engine and Git installed and working.
• Python 3.11 or newer installed locally.
• No cloud account, paid API key or real production system is required. Every lab runs against a local, intentionally vulnerable target controlled by the student.

Description
This course contains the use of artificial intelligence.
The program is designed to bridge the gap between simply testing individual jailbreak prompts and performing a complete, defensible security assessment of a production-style LLM application.
The attack surface of modern LLM applications goes far beyond the chat interface. It includes the API gateway, identity layer, retrieval pipeline, tool registry, deployment pipeline and audit trail.
The course addresses these areas through 100 sequential hands-on laboratories.
Students begin by creating an authorized local LLM security range using FastAPI, a mock model adapter and a deliberately vulnerable chat endpoint.
The program then moves through OWASP LLM-aligned threat modeling and MITRE ATLAS mapping, prompt injection, output handling, PII protection, API security, JWT validation, tenant isolation and rate limiting.
Students build and attack a RAG pipeline using ingestion, embeddings, vector stores, retrieval poisoning simulations and source allowlisting.
Agentic AI security is covered through least-privilege tool scopes, human approval gates, sandboxed execution and Model Context Protocol security reviews.
Automated security testing is performed using garak, PyRIT and custom fuzzing tools integrated into CI-compatible security gates.
Supply chain security includes Trivy, Syft, Grype and Cosign.
Students deploy workloads to a local Kubernetes environment and study admission policies and SPIFFE/SPIRE workload identity.
The course also covers observability, incident response, chaos testing, backup and recovery.
The final Lab 100 produces an audit-ready evidence package containing architecture documentation, testing results, compliance evidence and an executive risk brief.

Who this course is for
• Application security engineers and penetration testers who already test traditional web applications and REST APIs but want to systematically test LLM-integrated systems.
• Backend and platform engineers building LLM-powered products such as chatbots, copilots, internal tools and agentic workflows.
• Security professionals and senior students preparing for AI Red Team, AI Security Engineer or Platform Security roles.
• Professionals who want practical experience with LLM Security, OWASP LLM Top 10 and MCP Security.

Стоимость: 1150 руб. (11,99 $)
Скрытая ссылка