Практический курс по Big Data. Часть 2. Spark: from zero to hero [bigdata team]

Складчина: Практический курс по Big Data. Часть 2. Spark: from zero to hero [bigdata team]

ЧАСТЬ 1 - HDFS || ЧАСТЬ 2 - Spark (ВЫ ТУТ) || ЧАСТЬ 3 - Kafka, RT, NoSQL, Data layout

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:
▶ cхема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.


Продажник: bigdatateam.org/ru/big-data-course