System Design [Тариф Стандарт] [Balun.Courses] [Владимир Балун] [Повтор]

Складчина: System Design [Тариф Стандарт] [Balun.Courses] [Владимир Балун] [Повтор]

Научишься проектировать высоконагруженные отказоустойчивые системы.
+ подготовишься к System Design интервью для трудоустройства в Ozon\ВКонтакте\Тинькофф\Яндекс\Kaspersky Lab

Подойдет специалистам с опытом работы в IT
Middle — минимальный грейд для комфортного обучения
Нужно владеть основами программирования, понимать работу компьютерных сетей, знать базовые алгоритмы и структуры данных, а также иметь с ними примитивный опыт работы

• системный администратор
  
• разработчик
  
• системный аналитик
  
• архитектор
  
• продакт менеджер
  
• QA-инженер

95% вопросов по system design закроешь На этом обучении

• Подготовишься к интервью — поймешь из чего оно состоит, узнаешь его особенности и научишься уверенно его проходить на практике
  
• Узнаешь best practices в области проектирования больших отказоустойчивых систем, как в Google, Яндекс или Озон
  
• Познакомишься с огромным количеством паттернов и приемов проектирования высоконагруженных систем
  
• Узнаешь, как работают репликация, шардирование, транзакции и многое другое
  
• Научишься устанавливать требования, считать нагрузку и ресурсы, проектировать API, модель данных и всю систему в целом
  
• Увеличишь шансы на повышение грейда, зарплаты и повысишь свою ценность, как специалиста

В программе 8 практических уроков с домашней работой и практикой

1. Основы проектирования систем
2. Кэширование, API и Observability
3. Хранение и поставка данных
4. Распределенное хранение данных
5. Паттерны и приемы проектирования
6. Проектирование популярных систем

Спойлер: Программа подробно:

1. Основы проектирования систем

Свойства информационных систем

• Надежность
• Масштабируемость
• Производительность
• Удобство сопровождения
• Безопасность

Критерии информационных систем

• Data / compute intensive
• Read / write intensive
• Low latency
• High throughput

Балансировка нагрузки

• клиентская / серверная
• DNS и geoDNS балансировка
• L4 / L7 балансировка
• алгоритмы балансировки - random / round robin / weighted round robin / least connections / least response time / least bandwidth / sticky sessions / power of two choises

Проксирование

• forward / reverse

Функциональные и нефункциональные требования

• Расчет нагрузки

Результат:
знаешь основные критерии и свойства, без которых невозможно спроектировать большую отказоустойчивую систему
разбираешься в балансировке нагрузки и проксировании, а также умеешь устанавливать требования и считать нагрузку

Бонус:
вместе установим функциональные и нефункциональные требования для одного популярного приложения, а также оценим будущую нагрузку на него

Домашнее задание:
установить функциональные и нефункциональные требования, а также рассчитать нагрузку для будущей социальной сети

2. Кэширование, API и Observability

Кэширование

• внутреннее / внешнее
• кэширование ошибок
• эффективность кэширования
• thundering herd problem
• многомерные кэш
• алгоритмы вытеснения - алгоритм Белади (OPT), random, LRU, SLRU, TLRU, LRU-k, MRU, LFU, LIFO, FIFO, 2Q, Second Chance, Clock
• инвалидация - по TTL / по событию / версионирование кэша / тегирование кэша
• взаимодействие с кэшем - cache aside / cache through / cache ahead

API

• CRUD
• Under / over fetching
• SOAP / REST / RPC / GraphQL
• Polling / long polling / streaming (SSE, WebSockets)
• Версионирование API
• Идемпотентность

Observability

• Метрики / Логи / Трейсы
• Алертинг
• Непрерывное профилирование

Результат:
разбираешься в кэшировании, а также понимаешь основные проблемы при его использовании.
умеешь проектировать API и мониторить сервисы.

Бонус:
вместе спроектируем REST API для одного из популярных приложений.

Домашнее задание:
спроектировать REST API для будущей социальной сети

3. Хранение и поставка данных

Виды баз данных

• Реляционные
• Документоориентированные
• Key-value
• Time series
• Колоночные
• Wide-column
• Object storage

Характеристики баз данных

• ACID / BASE
• OLAP / OLTP / HTAP
• Persistent / in-memory базы данных
• Embedded / single file базы данных

Индексы

1. BTree / Hash / Bitmap / Spatial / Reversed
2. кластерные / некластерные
3. селективность индекса
4. функциональные
5. покрывающие
6. разряженные

Транзакции

• WAL
• Deferrable
• MVCC / 2PL
• Изоляции транзакций - READ_UNCOMMITTED / READ_COMMITTED / REPEATABLE_READ / SERIALIZABLE

Очереди сообщений

• Сценарии использования
• Гарантии доставки
• Data retention

Паттерны хранения и поставки данных

• Сжатие данных
• Охлаждение данных
• Запись батчами

Расчет железа

• Хранимые процедуры
• Materialized view
• Тригеры

Результат:
понимаешь, где их и как лучше хранить данные, а также сколько потребуется железа для хранения.
знаешь различные виды баз данных, а также понимаешь, когда и какую из них следует выбирать на практике.

Бонус:
вместе спроектируем базу данных одного из популярных приложений, а также посчитаем сколько потребуется железа для хранения данных приложения.

Домашнее задание:
спроектировать базу данных для будущей социальной сети, а также оценить необходимое железо

4. Распределенное хранение данных

Репликация

• синхронная / асинхронная / полу-синхронная
• с одним ведущим узлом / с несколькими ведущими узлами / без ведущих узлов
• логическая (SBR / RBR) / физическая
• hot standby / warm standby
• фильтрация репликаций
• split brain
• failover

Партиционирование

• Вертикальное / горизонтальное
• Range based / key based / directory based

Шардирование

• перебалансировка (virtual buckets)
• resharding (consistent / randezvous hashing)
• роутинг (client / proxy / coordinator routing)

Бэкапы

• CAP теорема
• PACELC теорема
• CDN (Content Delivery Network)
• CDC (Change Data Capture)

Результат:
понимаешь, как хранить данные распределенно на нескольких хостах, а также умеешь считать, сколько потребуется хостов для хранения этих данных.

Бонус:
вместе выберем стратегии репликации и шардирования базы данных одного из популярных приложений, а также посчитаем сколько потребуется хостов для хранения данных.

Домашнее задание:
выбрать стратегии репликации и шардирования базы данных для будущей социальной сети, а также посчитать сколько потребуется хостов для хранения данных

5. Паттерны и приемы проектирования

Архитектура информационных систем

• Файл-сервер / клиент-сервер / P2P

Паттерны развертывания сервисов

• Rolling / blue-green / канареечный

Архитектура бэкенда

• Монолитная / микросервисная (MSA) / SOA

Событийно-ориентированная архитектура

• Event notification / state transfer / event collaboration

Консенсус

• Выбор лидера
• Распределенная блокировка
• Распределенные транзакции - SAGA хореография и оркестрация / 2PC / 3PC

Асинхронные паттерны

• point-point / pub-sub / request-response
• отложенное выполнение задач
• Dead letter queue

Паттерны отказоустойчивости

• fallback
• bulkheads
• backpressure
• self-healing
• rate limiting
• retries (backoff)
• feature toggles
• circuit breaker
• gracefull degradation

Результат:
знаешь различные паттерны и приемы проектирования, которые используются практически во время любого процесса проектирования

Бонус:
вместе найдем применимость этим паттернам и приемам проектирования в настоящих системах.

Домашнее задание:
Итоговый проект — сделаешь верхнеуровневое проектирование социальной сети с использованием C4 Model

6-8. Проектирование популярных систем

Лента друзей ВКонтакте

• WhatsApp
• Boocking.com
• Google Drive
• Яндекс.Такси
• LeetCode

Результат: применяешь все знания с уроков на практике, умеешь строить большие высоконагруженные системы и понимаешь, как спроектированы популярные сервисы, которыми ты пользуешься каждый день.

Домашнее задание:
Продолжаем делать итоговый проект

Здесь собраны знания из личного опыта, книг, статей, конференций и реальных собеседований
Все темы можно найти по кусочкам, но это долго и неэффективно. Мы систематизировали весь контент в одном месте на понятном языке и с практикой.

Тариф Стандарт
Стоимость 55700 руб.
Скрытая ссылка

Повтор
Скрытая ссылка