Инженерия данных от проектирования до нетривиальной обработки
СТАРТ ПРОГРАММЫ
СКОРО ПОЯВИТСЯ
СКОРО ПОЯВИТСЯ
КОМУ ПОДОЙДЁТ
JUNIOR+/MIDDLE
JUNIOR+/MIDDLE
ПОЭТАПНАЯ ОПЛАТА
НА 5 МЕСЯЦЕВ
НА 5 МЕСЯЦЕВ
01
дней
02
часов
03
минут
04
секунд
ИНЖЕНЕР ДАННЫХ. ОБУЧЕНИЕ У НАС |
записаться на курс или задать вопрос
Мы свяжемся с вами и ответим на все ваши вопросы по курсу.
НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ
Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.
Стандартный путь:
1/ НАЧИНАЕШЬ РАБОТАТЬ С ДАННЫМИ
2/ ПЫТАЕШЬСЯ СДЕЛАТЬ СИСТЕМНО И РАСШИРЯЕМО
3/ ПОНИМАЕШЬ, ЧТО НЕ ХВАТАЕТ ЗНАНИЙ, ЧТОБЫ ОХВАТИТЬ ВСЮ АРХИТЕКТУРУ DWH ЦЕЛИКОМ
Для работы с данными недостаточно знать один инструмент — необходимо учитывать весь спектр взаимосвязей большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
Сильный инженер данных за счёт широты знаний может выбрать правильный инструмент под любые задачи, охватить всю архитектуру DWH целиком и донести результат до потребителей данных.
Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.
Для эффективной работы с данными одного инструмента недостаточно — необходимо учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
КОМУ ПОДОЙДЁТ ЭТОТ КУРС:
Постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике.
АНАЛИТИК ДАННЫХ
Уже работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии.
ИНЖЕНЕР ДАННЫХ
Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных.
BACKEND-РАЗРАБОТЧИК
Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать.
BI-РАЗРАБОТЧИК
какие инструменты освоите >
PostgreSQL
Hadoop
S3
Greenplum
Python
SQL
Hive
Spark
Kafka
хранение
обработка
ML Flow
Spark ML
SuperSet
Tableu
DataLens
Airflow
машинное обучение
визуализация
Оркестраторы
при рассрочке на 12 месяцев
103 490 ₽
одним платежем
или
9 790 ₽ / мес.
инженер данных
+ симулятор data science (3 месяца)
+ симулятор data science (3 месяца)
Знания DS помогут инженерам данных эффективнее сотрудничать с дата-сайентистами, понимая их потребности для создания оптимальных пайплайнов и хранилищ под ML-модели.
новогоднее комбо!
Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает etl-процессы (airflow) крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам дата-инженера. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Максимальное погружение
ЧТО НЕОБХОДИМО ДЛЯ КУРСА [?]
> Знание базового синтаксиса (SELECT, WHERE, GROUP BY, HAVING)
> Умение составлять подзапросы и делать все виды JOIN
> Навык работы с оконными функциями
> Умение составлять подзапросы и делать все виды JOIN
> Навык работы с оконными функциями
> Знание синтаксиса языка
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение основами ООП (класс, объект)
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение основами ООП (класс, объект)
> Умение работать с командной строкой
> Знание базовых команд Linux
> Опыт работы с Git
> Знание базовых команд Linux
> Опыт работы с Git
> Знание базового синтаксиса (SELECT, WHERE, GROUP BY, HAVING)
> Умение составлять подзапросы и делать все виды JOIN
> Навык работы с оконными функциями
> Умение составлять подзапросы и делать все виды JOIN
> Навык работы с оконными функциями
> Знание синтаксиса языка
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение основами ООП (класс, объект)
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение основами ООП (класс, объект)
> Умение работать с командной строкой
> Знание базовых команд Linux
> Опыт работы с Git
> Знание базовых команд Linux
> Опыт работы с Git
Этот курс кажется вам сложным?
Оставьте заявку, наш консультант свяжется с вами и поможет подобрать курс, который будет полностью соответствовать вашим целям.
записаться на курс или задать вопрос
Мы свяжемся с вами и ответим на все ваши вопросы по курсу.
ПРОГРАММА КУРСА //
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает etl-процессы (airflow) крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам дата-инженера. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает etl-процессы (airflow) крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам дата-инженера. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
КАК ПРОХОДИТ ОБУЧЕНИЕ >>
ПОДРОБНЕЕ О КУРСЕ
Преподаватели расскажут о курсе и его содержании. Вы узнаете, в чём ценность каждого модуля и как полученные знания помогут в дальнейшей работе.
Формат и нагрузка
> Обучение проходит в интенсивном формате по 3 занятия в неделю. Для каждого домашнего задания установлены мягкие двухнедельные дедлайны.
> На учёбу наши студенты тратят в среднем 10−15 часов в неделю
> Если у вас возникнут сложности с выполнением заданий, вы сможете обратиться к команде сопровождения — эксперты помогут разобраться с любой задачей из курса.
> На учёбу наши студенты тратят в среднем 10−15 часов в неделю
> Если у вас возникнут сложности с выполнением заданий, вы сможете обратиться к команде сопровождения — эксперты помогут разобраться с любой задачей из курса.
Инфраструктура
> Работайте со всеми необходимыми инструментами на выделенном сервере
> Совершенствуйте навыки работы с Hadoop, Greenplum, PostgreSQL, Airflow, Spark, Hive и Kubernetes
> Совершенствуйте навыки работы с Hadoop, Greenplum, PostgreSQL, Airflow, Spark, Hive и Kubernetes
ПРОМЕЖУТОЧНЫЙ ПРОЕКТ
В рамках проекта поработаете с etl-процессами (airflow) крупной двухуровневой платформы данных, закрепите понимание инструментов airflow, spark + s3 и greenplum и поймёте, как использовать их в связке друг с другом
Формат и нагрузка
—⦁Обучение проходит в⦁интенсивном формате по⦁3 занятия в⦁неделю. Для⦁каждого домашнего задания установлены мягкие двухнедельные дедлайны.
—⦁На⦁учёбу наши студенты тратят в⦁среднем 10−15 часов в⦁неделю
—⦁Если у⦁вас возникнут сложности с⦁выполнением заданий, вы⦁сможете обратиться к⦁команде сопровождения⦁— эксперты помогут разобраться с⦁любой задачей из⦁курса.
—⦁На⦁учёбу наши студенты тратят в⦁среднем 10−15 часов в⦁неделю
—⦁Если у⦁вас возникнут сложности с⦁выполнением заданий, вы⦁сможете обратиться к⦁команде сопровождения⦁— эксперты помогут разобраться с⦁любой задачей из⦁курса.
ВАШЕ РЕЗЮМЕ ЧЕРЕЗ == 5 МЕСЯЦЕВ
ВИКТОР КУЗНЕЦОВ
Инженер данных
от 100 000 ₽
Желаемая зарплата
Работаю с реляционными базами данных, в том числе MPP, понимаю особенности работы распределенных систем на базе Greenplum
Умею строить и автоматизировать ETL\ELT-пайплайны на базе Apache Airflow
Имею опыт работы с большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive
Разбираюсь в архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и Data Vault
Умею строить и автоматизировать ETL\ELT-пайплайны на базе Apache Airflow
Имею опыт работы с большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive
Разбираюсь в архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и Data Vault
Greenplum
Airflow
Hadoop
Spark
Apache Hive
DWH
ВИКТОР КУЗНЕЦОВ
Инженер данных
Желаемая зарплата от 100 000
₽
- Работаю с⦁реляционными базами данных, в⦁том числе MPP, понимаю особенности работы распределенных систем на⦁базе Greenplum
- Умею строить и⦁автоматизировать ETL\ELT-пайплайны на⦁базе Apache Airflow
- Имею опыт работы с⦁большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive
- Разбираюсь в⦁архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и⦁Data Vault
- Имею практический опыт работы со Spark в Kubernetes, понимаю основные подходы к⦁построению хранилищ данных в⦁облаках
- Понимаю принципы работы и⦁подготовки данных для⦁BI-инструментов на⦁базе Tableau
- Применяю ML-модели на⦁больших данных, умею подготавливать данные для⦁их⦁обучения, понимаю подходы к⦁версионированию датасетов с⦁помощью Data Version Control
- Умею строить и⦁автоматизировать ETL\ELT-пайплайны на⦁базе Apache Airflow
- Имею опыт работы с⦁большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive
- Разбираюсь в⦁архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и⦁Data Vault
- Имею практический опыт работы со Spark в Kubernetes, понимаю основные подходы к⦁построению хранилищ данных в⦁облаках
- Понимаю принципы работы и⦁подготовки данных для⦁BI-инструментов на⦁базе Tableau
- Применяю ML-модели на⦁больших данных, умею подготавливать данные для⦁их⦁обучения, понимаю подходы к⦁версионированию датасетов с⦁помощью Data Version Control
- Знаю основные подходы к⦁управлению данными на⦁базе DMBOK
Регистрация на образовательной платформе
Для доступа к демоверсии вам необходимо зарегистрироваться на нашей образовательной платформе, указав ваши имя, фамилию и электронную почту.
Вы сможете продолжить использовать свою учётную запись для обучения на полной версии курса или других наших программах.
Если у вас уже есть учётная запись, можно использовать её.
Вы сможете продолжить использовать свою учётную запись для обучения на полной версии курса или других наших программах.
Если у вас уже есть учётная запись, можно использовать её.
стоимость обучения >>
инженер данных
> Реляционные и MPP СУБД
> Автоматизация ETL-процессов
> Big Data
> Проектирование DWH
> Облачное хранилище
> Визуализация данных
> Автоматизация ETL-процессов
> Big Data
> Проектирование DWH
> Облачное хранилище
> Визуализация данных
Начните осваивать профессию инженера данных, получите доступ к работе на удалённом сервере и поддержке от наших преподавателей.
82 800 ₽ *
ПОЛНАЯ ОПЛАТА ИЛИ В РАССРОЧКУ НА 6 МЕСЯЦЕВ:
> Big ML
> Управление моделями
> Управление данными
> Поддержка от преподавателей
> Работа на удалённом сервере
> Управление моделями
> Управление данными
> Поддержка от преподавателей
> Работа на удалённом сервере
Поэтапная оплата или рассрочка от партнёра:
* При рассрочке на 12 месяцев
Срок рассрочки можно выбрать на этапе оплаты. Доступны опции от 6 до 12 мес.
Скидка 10 800 ₽ при единовременной оплате или в рассрочку на 6 месяцев от Т-Банка
7 800 ₽ / мес. *
-23%
-8%
8 667 ₽
УДОБНЫЙ ЕЖЕМЕСЯЧНЫЙ ПЛАТЕЖ С БЕСПРОЦЕНТНОЙ РАССРОЧКОЙ ИЛИ ОПЛАТА ЧАСТЯМИ ОТ НАШИХ ПАРТНЁРОВ
записаться на курс или задать вопрос
Мы свяжемся с вами и ответим на все ваши вопросы по курсу.