Проектирование и разработка поисковых систем на базе ElasticSearch [Тариф Стандарт] [Balun.Courses] [Степан Ляхов]

Складчина: Проектирование и разработка поисковых систем на базе ElasticSearch [Тариф Стандарт] [Balun.Courses] [Степан Ляхов]

Не просто изучаем ElasticSearch, а учимся проектировать поиск под любые задачи

От внутренних сервисов до системы логов и поиска под RAG. Все на примере HighLoad-проектов — маркетплейсов с миллионами товаров и архитектуры Яндекса / Гугла

1. Как устроены поисковые системы и как их проектировать
2. Как предугадывать запрос на этапе ввода в поисковую строку
3. Как отдать релевантный поисковый ответ за 200ms
4. Как найти по смыслу, если в запросе ни одного ключевого слова
5. Как использовать поисковую систему в качестве retrieval layer для LLM и AI-агентов
6. Как обеспечить отказоустойчивость, если у вас гигабайты данных

После курса будешь владеть:

• Поисковые движки и инфраструктура: ElasticSearch Apache Lucene
• Обработка данных: Веб-краулинг Парсинг Очистка текста Индексация Работа с семантикой языка
• Api, интерфейсы поиска Search API Кэширование в поиске
• Поисковые техники и типы поиска: Полнотекстовый поиск Векторный поиск Поиск по смыслу Поиск с опечатками Поиск по синонимам Гибридный поиск Автокомплит BM25
• Основы ml для разработчиков Embeddings Vector space model Cosine similarity ANN / HNSW ML Ranking Clustering Retrieval для LLM и AI Agents

Программа:

Урок №1. Основы поисковых систем

Разбираемся с фундамент всех поисковых систем — Google, Amazon, Elasticsearch-based systems: основные подходы, алгоритмы, идеи, и как они вообще устроены

В уроке:

• архитектура поисковых движков
• inverted index
• BM25, TF-IDF
• scoring и ranking
• fuzzy search (опечатки)
• синонимы и query rewriting

Урок №2. Поиск в маркетплейсе

Изучаем проектирование любого высоконагруженного поиска на основе ElasticSearch. Разбираем на примере всем известных маркетплейсов

В уроке:

• функциональные и нефункциональные требования поисковых систем
• ElasticSearch / OpenSearch / Lucene
• cluster architecture
• indexing pipeline
• search query tuning
• ELK stack

Практика:

• делаем обход Wikipedia
• сохраняем страницы в PostgreSQL
• пишем BFS обход графа
• реализуем защиту от дубликатов

Результат:

• работающий ingestion pipeline + базовая search инфраструктура

Урок №3. Web Crawler + Indexer

Разбираем, как строятся поисковики на подобии Яндекса и Гугла. Как проиндексировать весь интернет, скачать страницы и куда все положить

В уроке:

• graph traversal (BFS)
• crawling architecture
• indexing pipeline
• HTML parsing и data extraction
• scale problems

Практика:

• извлекаем title/body из HTML
• чистим текст
• реализуем bulk indexing в Elasticsearch

Результат:

• готовый пайплайн: HTML → структурированный документ → поисковый индекс

Урок №4. Search API + ML Ranking

В прошлом уроке мы проиндексировали весь интернет. Как теперь по нему искать и сделать максимально релевантную выдачу, даже если человек опечатался?

В уроке:

• search API design
• BM25 retrieval layer
• pagination & query execution
• caching in search systems
• База по ML для разработчиков:
decision trees, random forest, gradient boosting, CatBoost, neural networks (overview)
• feature engineering
• clustering (K-Means)

Практика:

• реализуем BM25 Search API

Результат:

• рабочий full-text search API

Урок №5. Semantic Search (Embeddings)
Простым языком рассказываем про Embeddings и то, как реализовать поиск по смыслу, если пользователь в общей форме описал запрос и не попал ни в одно ключевое слово

В уроке:

• embeddings и vector space model
• cosine similarity
• kNN search
• approximate nearest neighbors
• HNSW algorithm
• vector search in Elasticsearch

Практика:

• пишем Embedding Service

Результат:

• поисковый движок умеет искать запросы по смыслу. Например, отдать название сериала «Гангстерленд» на запрос «как называется популярный сериал от Гая Ричи про семью бандитов»

Урок №6. Поиск для AI-систем (RAG)

К этому моменту мы умеем строить поисковую систему, которая может искать по словам, смыслу и выдерживать production-нагрузку. Но что происходит, когда потребителем становится не только человек, но и AI?

В уроке:

• внутреннее устройство RAG-систем и роль поиска в ней
• как построить retrieval pipeline для LLM
• как объединить BM25 и vector search в hybrid search
• как применять reranking для повышения качества retrieval
• как превратить search API в tool для AI Agent

Практика:

• реализуем semantic search API и объединяем полнотекстовый и векторный поиск

Результат:

• готовый hybrid retrieval layer: поиск по ключевым словам + поиск по смыслу, который можно использовать как retrieval layer для RAG или как search tool для AI-агентов

Тариф Стандарт

Цена 37900 руб.
Скрытая ссылка