Amerikano
Модератор
- Сообщения
- 19,549
- Реакции
- 380,754
Автор: BigData Тeam
Название: Практический курс по Big Data. Часть 3. RT, NoSQL, Data layout, Kafka (2023)
Практический курс по Big Data. Часть 3. RT, NoSQL, Data layout, Kafka [bigdata team]
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
В этом модуле вы изучите:
Подробнее:
Скачать:
Название: Практический курс по Big Data. Часть 3. RT, NoSQL, Data layout, Kafka (2023)
Практический курс по Big Data. Часть 3. RT, NoSQL, Data layout, Kafka [bigdata team]
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
В этом модуле вы изучите:
- подходы к Realtime-обработке;
- гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
- Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
- архитектура Kafka, Kafka Streams, репликация в Kafka. Отличие Kafka от классических очередей;
- семантики доставки сообщений, сжатие данных в Kafka, синхронная и асинхронная репликация.
- отличия Key-Value хранилищ от реляционных БД;
- компактификация и её виды, CQLSH;
- архитектура Cassandra;
- обеспечение надёжности и высокодоступности в Key-Value хранилищах;
- интеграция Spark с Cassandra.
- как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
- trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
- форматы данных в Big Data: ORC vs Parquet, Avro, ...
Подробнее:
Для просмотра ссылок Войдите в аккаунт или Зарегистрируйтесь
Скачать:
Для просмотра ссылок Войдите в аккаунт или Зарегистрируйтесь
Похожие темы из этого раздела:
- [Илья Шаляпин] Разработка веб-приложений на Go (GoLang) [Stepik] (2024)
- [Structy] Алгоритмы и структуры данных для Faang (2024)
- [NEWPROLAB] Data Engineer 14.0 (2023)
- [Инфостарт] Базовый курс по разработке мобильных 1C-приложений для Android-устройств (2023)
- [infostart] 1C - Предприятие для программистов - Запросы и отчеты (2023)
- [Н. Багиян, Д. Казаков, Р. Бунин, Е. Крмаков, А. Волынский, Н. Табакаев] Продвинутая аналитика данных. Часть 6 [Karpov.Courses] (2023)
- [Н. Багиян, Д. Казаков, Р. Бунин, Е. Крмаков, А. Волынский, Н. Табакаев] Продвинутая аналитика данных. Часть 5 [Karpov.Courses] (2023)
- [Н. Багиян, Д. Казаков, Р. Бунин, Е. Крмаков, А. Волынский, Н. Табакаев] Продвинутая аналитика данных. Часть 4 [Karpov.Courses] (2023)
- [АИС] ClickHouse для дата инженеров (2024)
- [Product University] Как научиться программировать с нуля мини-курс (2022)