Что включено
Описание
Программа курса
Проектирование DWH (хранилища данных)
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH (хранилища данных).
Реляционные и MPP (массово-параллельные) СУБД
Начнём погружение в инженерию данных со знакомства с базами данных: реляционными и MPP (с массово-параллельной обработкой данных). Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
Автоматизация ETL-процессов
ETL — это процесс извлечения, преобразования и загрузки, который является ключевым в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-циклы (ETL-пайплайны).
Большие данные (big data)
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
Промежуточный проект
Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает процессы извлечения, преобразования и загрузки (etl-процессы) в Airflow крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам инженера данных. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.
Облачное хранилище
Рассмотрим облачные решения и инструменты для построения хранилища (DWH) и озера (Data Lake) данных. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
Визуализация данных
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивную аналитическую панель (дашборд) для мониторинга хранилища данных (DWH) платформы.
BIG ML (Машинное обучение)
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
Управление моделями
В работе инженеры часто сталкиваются с подготовкой данных для обучения моделей машинного обучения. Рассмотрим инструменты для построения циклов машинного обучения (ML-пайплайнов), версионирования набора данных, организации учёта и трекинга моделей.
Управление данными
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Похожие курсы
Нетология
SQL и получение данных. Самостоятельный тариф
Обучение онлайн на платформе Нетология - курсы IT и образовательные программы с трудоустройством. Получи профессию с нашими онлайн курсами!
Подробнее →
Нетология
Магистратура «Продуктовый маркетинг и аналитика» с Финансовым университетом
Магистерская программа Финансового университета и Нетологии, обучение продуктовому маркетингу. Стажировки в компаниях-партнёрах, преподаватели-практики рынка, кейсы в портфолио.
Подробнее →
Бруноям
Онлайн-курс по SQL
За 2 месяца освоите MS SQL с нуля — и с его помощью сможете работать с данными и аналитикой без помощи разработчиков
Подробнее →
Нетология
HR-аналитика и автоматизация
Освойте HR-аналитику и автоматизацию процессов: работа с HR-метриками, анализ данных, оптимизация обучения персонала. Онлайн-курс для HR-специалистов. Получите новые навыки и сертификат Нетологии.
Подробнее →