Redis для разработчиков [Balun.Courses] [Кирилл Кузин]

Складчина: Redis для разработчиков [Balun.Courses] [Кирилл Кузин]

Углубленный курс для backend’еров, которые привыкли использовать Redis как простое key-value-хранилище. Учимся решать более сложные задачи — от создания очередей и синхронизации подов до повышения отказоустойчивости системы.

За 1.5 месяца научимся:

• Решать больше задач с помощью Redis
  От очередей и уведомлений до синхронизации компонентов. Сможешь облегчать себе жизнь на рядовых задачах и не усложнять архитектуру
• Проектировать кеш под нагрузкой
  Лучшие практики и анти-паттерны, которые приводят к неконсистентным данным, перегрузке БД или самого Redis
• Строить обмен сообщениями
  Тонкости Pub/Sub и Streams, и что из них выбирать в зависимости от требований к доставке, хранению истории и масштабированию
• Обеспечивать надёжность и сохранность данных
  RDB, AOF, репликации и Sentinel — все, что нужно знать про гарантии сохранности данных и восстановку редиса после отказов
• Масштабировать и оптимизировать Redis
  Разберёшься с Redis Cluster, сможешь находить узкие места одного инстанса и оптимизировать работу Redis под растущей нагрузкой
• Диагностировать проблемы в проде
  Выведем необходимые метрики в графану и объясним, как их интерпретировать, куда смотреть при инцидентах, что чинить, и главное — как

Подойдет backend-разработчикам уровня Middle/Senior
Все, что нужно:

1. базово знать редис на уровне вставки / чтения
2. знать основы проектирования архитектуры
3. владеть любым ЯП — привязки к конкретному нет

Программа:

• Урок №1. Архитектура Redis и структуры данных под капотом
  Один и тот же Redis может по-разному расходовать память и справляться с нагрузкой. Разбираемся, как он хранит данные, выполняет команды и чем отличаются структуры данных по стоимости операций и потреблению памяти
• Урок №2. Кэширование с Redis: паттерны и анти-паттерны
  Учимся правильно строить слой кэширования, выбирать стратегию работы с кэшем и понимать ошибки, которые в продакшене приводят к неконсистентным данным, перегрузке источника данных или самого Redis
• Урок №3. Глубокий разбор Pub/Sub и Streams
  Для реализации простой очереди необязательно поднимать кафку. Погружаемся в более сложные сценарии инструмента — изучаем Redis как систему обмена сообщениями и учимся выбирать между Pub/Sub и Streams в зависимости от требований к доставке, хранению истории и масштабированию обработки
• Урок №4. Надежность данных: персистентность, репликация и восстановление
  Изучаем, какие есть гарантии сохранности данных «из коробки», как организуется репликация и как Redis восстанавливает работу после отказов
• Урок №5. Масштабирование и производительность
  Учимся масштабировать Redis на больших данных и под высокую нагрузку, а также разбираемся с возможными техниками оптимизации
• Урок №6. Диагностика, мониторинг и лучшие практики в продакшене
  Даже корректно спроектированный Redis со временем может столкнуться с ростом latency, нехваткой памяти, тяжелыми командами, проблемами persistence или репликации.
  Учимся наблюдать за Redis в продакшене, диагностировать причины деградации производительности и отличать проблемы памяти, команд, persistence, сети и конфигурации друг от друга

Спойлер: Подробная программа:

Урок №1. Архитектура Redis и структуры данных под капотом

Один и тот же Redis может по-разному расходовать память и справляться с нагрузкой. Разбираемся, как он хранит данные, выполняет команды и чем отличаются структуры данных по стоимости операций и потреблению памяти

Теория:
архитектура Redis
однопоточная модель исполнения команд и цикл событий
хранение ключей и значений в памяти
объектная модель Redis
внутренние представления и оптимизации структур данных
структуры данных и сложность основных операций
выбор структуры данных под задачу
обзор новых структур данных из Redis 8

Практика:
поработаем с INFO для знакомства с состоянием Redis
выполним операции с различными структурами данных
сравним поведение и производительность структур на небольших наборах

Домашняя работа:
спроектировать хранилище данных на Redis по готовому описанию сервиса — определить схему ключей, выбрать подходящие структуры данных, наполнить базу и реализовать основные операции над ними

Результат:
понимаешь базовую архитектуру Redis, устройство основных структур данных и стоимость операций над ними. Можешь выбирать структуру данных под конкретную задачу и объяснять свой выбор с точки зрения производительности и использования памяти

Урок №2. Кэширование с Redis: паттерны и анти-паттерны

Учимся правильно строить слой кэширования, выбирать стратегию работы с кэшем и понимать ошибки, которые в продакшене приводят к неконсистентным данным, перегрузке источника данных или самого Redis

Теория:
Cache-Aside, Write-Through, Write-Behind
выбор TTL
инвалидация кэша
Cache stampede
Hot keys и стратегии решения проблем данных тем

Практика:
воспроизводим сценарий cache stampede
сравниваем поведение под нагрузкой с защитой и без нее
тонкости настройки eviction-политики

Домашняя работа:
получаешь готовое окружение с Redis, Grafana, данными и генератором нагрузки. В кэше намеренно допущены ошибки: неудачные TTL, горячие ключи и другие проблемы. Необходимо по метрикам и встроенным инструментам Redis найти причины деградации, исправить их и проверить результат под нагрузкой

Результат:
умеешь выбирать стратегию кэширования, работать с TTL и инвалидацией
понимаешь, как предотвращать наиболее опасные проблемы Redis-кэша: stampede, hot keys, неконтролируемый рост данных и взаимное влияние различных видов нагрузки

Урок №3. Глубокий разбор Pub/Sub и Streams

Для реализации простой очереди необязательно поднимать кафку. Погружаемся в более сложные сценарии инструмента — изучаем Redis как систему обмена сообщениями и учимся выбирать между Pub/Sub и Streams в зависимости от требований к доставке, хранению истории и масштабированию обработки

Теория:
архитектура Redis Pub/Sub
издатели, подписчики и каналы
модель fire-and-forget
устройство Redis Streams
consumer groups
Pending Entries List
повторная обработка сообщений
мониторинг
сравнение Pub/Sub и Streams
выбор механизма в зависимости от требований к доставке и хранению

Практика:
создаем Pub/Sub-каналы
наблюдаем за широковещательной доставкой
создаем Stream и используем его в качестве очереди задач
создаем consumer group
возвращаем необработанные сообщения через XCLAIM

Домашняя работа:
в твоих руках — готовая система, в которой несколько обработчиков получают события через Redis. Необходимо настроить обмен сообщениями с помощью Pub/Sub и Streams, исследовать поведение системы при отключении потребителей, организовать повторную обработку неподтвержденных сообщений и ограничить рост Stream

Результат:
умеешь обеспечивать надежную обработку сообщений с помощью Redis — без лишней инфрастуктуры

Урок №4. Надежность данных: персистентность, репликация и восстановление

Изучаем, какие есть гарантии сохранности данных «из коробки», как организуется репликация и как Redis восстанавливает работу после отказов

Теория:
RDB, AOF, fsync и компромисс между надежностью и производительностью
восстановление Redis после перезапуска
асинхронность репликации
Redis Sentinel
основы безопасности Redis

Практика:
запускаем Redis с разными конфигурациями persistence
сравниваем RDB, AOF и комбинированный режим
переключаем replica в primary вручную и через Sentinel
проверяем сохранность данных
создаем пользователя Redis через ACL

Домашняя работа:
получаешь готовое окружение с несколькими экземплярами Redis, подготовленными данными и сценариями сбоев. Необходимо настроить RDB/AOF, репликацию и автоматическое переключение через Sentinel. Затем воспроизвести отказы, восстановить работоспособность системы и определить, какие данные удалось сохранить, а какие были потеряны

Результат:
умеешь выбирать конфигурацию Redis в зависимости от допустимого объема потери данных и требований к доступности системы

Урок №5. Масштабирование и производительность

Учимся масштабировать Redis на больших данных и под высокую нагрузку, а также разбираемся с возможными техниками оптимизации

Теория:
Redis Cluster
распределение данных между узлами
cluster-aware клиенты
resharding
отказоустойчивость Cluster
pipelining
фрагментация памяти

Практика:
cравниваем нагрузку с pipelining и без
замеряем время выполнения операций
настраиваем Slow Log
разбиваем нагрузку между несколькими ключами и повторно замеряем результаты

Домашняя работа:
получаешь готовый Redis Cluster, генератор нагрузки и сценарий, в котором система перестает справляться с растущим количеством запросов. Необходимо проанализировать распределение данных между узлами, выявить узкие места, перераспределить нагрузку и применить техники оптимизации с урока

Результат:
умеешь горизонтально масштабировать Redis, понимаешь ограничения кластерной архитектуры и умеешь оптимизировать нагрузку

Урок №6. Диагностика, мониторинг и лучшие практики в продакшене

Даже корректно спроектированный Redis со временем может столкнуться с ростом latency, нехваткой памяти, тяжелыми командами, проблемами persistence или репликации.

Учимся наблюдать за Redis в продакшене, диагностировать причины деградации производительности и отличать проблемы памяти, команд, persistence, сети и конфигурации друг от друга

Теория:
основные метрики Redis
семейство LATENCY
диагностика проблем persistence
использование MONITOR и его ограничения
мониторинг через Prometheus
мониторинг репликации
эксплуатационные практики Redis в продакшене

Практика:
запускаем redis-benchmark с разными параметрами
создаем намеренно медленную операцию и поиск этой операции через Slow Log
моделируем роста потребления памяти
диагностируем учебную аварию по данным INFO

Домашняя работа:
получаешь готовое окружение, которое имитирует работающий в продакшене Redis с проблемами производительности. Причины заранее неизвестны. Используя INFO, SLOWLOG, LATENCY и другие диагностические инструменты, необходимо установить первопричины, предложить исправления и подтвердить их эффективность

Результат:
умеешь диагностировать Redis и расследовать проблемы производительности в условиях, приближенных к реальному продакшену

Преподает Кирилл Кузин
Go TechLead в medtech-маркетплейсе
ex-TechLead, распиливал монолиты, развивал инфраструктуру и повышал надежность сервисов
разрабатывал высоконагруженные сервисы рекомендаций, ранжирования и внутренние инструменты
Центральный университет преподаватель, академический лид курса по Go
спикер и член программного комитета GolangConf

Стоимость 52400 руб.
Скрытая ссылка