Инженерия данных от проектирования до нетривиальной обработки.
ИНЖЕНЕР ДАННЫХ. ОБУЧЕНИЕ У НАС |
ПОДАРИТЬ ОБУЧЕНИЕ
Мы свяжемся с вами и подготовим сертификат
НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ
Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.
Стандартный путь:
НАЧИНАЕШЬ РАБОТАТЬ С ДАННЫМИ
→
ПЫТАЕШЬСЯ СДЕЛАТЬ СИСТЕМНО И РАСШИРЯЕМО
ПОНИМАЕШЬ, ЧТО НЕ ХВАТАЕТ ЗНАНИЙ, ЧТОБЫ ОХВАТИТЬ ВСЮ АРХИТЕКТУРУ DWH ЦЕЛИКОМ
→
×
Для работы с данными недостаточно знать один инструмент — необходимо учитывать весь спектр взаимосвязей большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
Сильный инженер данныхза счёт широты знаний может выбрать правильный инструмент под любые задачи, охватить всю архитектуру DWH целиком и донести результат до потребителей данных.
Для эффективной работы с данными одного инструмента недостаточно — необходимо учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.
ВАШЕ РЕЗЮМЕ ==ЧЕРЕЗ 5 МЕСЯЦЕВ
- Работаю с реляционными базами данных, в том числе MPP, понимаю особенности работы распределенных систем на базе Greenplum
- Умею строить и автоматизировать ETL\ELT-пайплайны на базе Apache Airflow
- Имею опыт работы с большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive
- Разбираюсь в архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и Data Vault
- Имею практический опыт работы со Spark в Kubernetes, понимаю основные подходы к построению хранилищ данных в облаках
- Понимаю принципы работы и подготовки данных для BI-инструментов на базе Tableau
- Применяю ML-модели на больших данных, умею подготавливать данные для их обучения, понимаю подходы к версионированию датасетов с помощью Data Version Control
- Знаю основные подходы к управлению данными на базе DMBOK
ЖЕЛАЕМАЯ ЗАРПЛАТА ОТ
100 000 рублей
Инженер данных
ВИКТОР КУЗНЕЦОВ
- Работаю с реляционными базами данных, в том числе MPP, понимаю особенности работы распределенных систем на базе Greenplum - Умею строить и автоматизировать ETL\ELT-пайплайны на базе Apache Airflow - Имею опыт работы с большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive - Разбираюсь в архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и Data Vault - Имею практический опыт работы со Spark в Kubernetes, понимаю основные подходы к построению хранилищ данных в облаках - Понимаю принципы работы и подготовки данных для BI-инструментов на базе Tableau - Применяю ML-модели на больших данных, умею подготавливать данные для их обучения, понимаю подходы к версионированию датасетов с помощью Data Version Control - Знаю основные подходы к управлению данными на базе DMBOK
Инженер данных
ВИКТОР КУЗНЕЦОВ
ЖЕЛАЕМАЯ ЗАРПЛАТА ОТ
100 000 рублей
КАК ПРОХОДИТ ОБУЧЕНИЕ
ПОДРОБНЕЕ О КУРСЕ
Преподаватели расскажут о курсе и его содержании. Вы узнаете, в чём ценность каждого модуля и как полученные знания помогут в дальнейшей работе.
ФОРМАТ ОБУЧЕНИЯ
— Обучение проходит в интенсивном формате по 3 занятия в неделю — Домашние задания выполняются на настоящей инфраструктуре — Все лекции и дополнительные материалы доступны на образовательной платформе и остаются у вас после окончания курса — На учёбу наши студенты тратят в среднем 10 часов в неделю
РАБОТАЙТЕ С ДАННЫМИ В ЛЮБЫХ СИСТЕМАХ
— Изучайте архитектуру хранилищ данных и подходы к их проектированию — Сравнивайте на практике Big Data решения на базе Hadoop и реляционные MPP СУБД — Учитесь работать с облаками и автоматизировать ETL-процессы с помощью Airflow
ИСПОЛЬЗУЙТЕ НАШУ ИНФРАСТРУКТУРУ
— Работайте со всеми необходимыми инструментами на выделенном сервере — Совершенствуйте навыки работы с Hadoop, Greenplum, PostgreSQL, Airflow, Spark, Hive и Kubernetes
ЗАДАВАЙТЕ ЛЮБЫЕ ВОПРОСЫ В ПОДДЕРЖКУ
— Обсуждайте задачи и проекты с экспертами рынка — Вашими менторами будут инженеры данных из ведущих российских компаний
— Консультируйтесь с HR специалистами — Учитесь правильно презентовать свои навыки — Откликайтесь на вакансии компаний-партнёров — Проходите собеседования и устраивайтесь на работу
— Изучайте архитектуру хранилищ данных и подходы к их проектированию — Сравнивайте на практике Big Data решения на базе Hadoop и реляционные MPP СУБД — Учитесь работать с облаками и автоматизировать ETL-процессы с помощью Airflow
ИСПОЛЬЗУЙТЕ НАШУ ИНФРАСТРУКТУРУ
— Работайте со всеми необходимыми инструментами на выделенном сервере — Совершенствуйте навыки работы с Hadoop, Greenplum, PostgreSQL, Airflow, Spark, Hive и Kubernetes
Learn more
ЗАДАВАЙТЕ ЛЮБЫЕ ВОПРОСЫ В ПОДДЕРЖКУ
—Обсуждайте задачи и проекты с экспертами рынка — Вашими менторами будут инженеры данных из ведущих российских компаний
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Руководитель платформы данных toloka.ai, куратор курса
ЕВГЕНИЙ ЕРМАКОВ
Залог успешной работы — данные, которые нужно собирать, хранить и комбинировать между собой, быстро реагируя на изменения в их структуре.
Наш курс даст универсальные знания в области инженерии данных, которые вы сможете применить для проектирования систем хранения и обработки данных, автоматизации их работы и экономии ресурсов кластера.
ПРОГРАММА ТРУДОУСТРОЙСТВА>>>
ТРУДОУСТРОЙСТВО
Вместе достигнем желаемой цели
ПОДГОТОВКА
Поможем составить сильное резюме
РЕКОМЕНДАЦИИ
Расскажем о вас компаниям-партнёрам
СОБЕСЕДОВАНИЕ
Организуем интервью с работодателем
84%
Трудоустроенных выпускников
Рассчитано на основе данных о количестве выпускников, обратившихся за помощью в поиске работы и трудоустроенных за 3 месяца. Как мы это считали
Будем поддерживать вас в течение всего процесса трудоустройства.
Наша цель — довести вас до оффера.
САМОПРЕЗЕНТАЦИЯ
Чтобы получить сильное резюме и навыки самопрезентации вы пройдете: - Лекции и вебинары по составлению резюме от HR-эксперта Яндекс - Тест-драйв собеседования - Консультацию, на которой определите стратегию поиска работы и пропишете карьерные цели
Свой прогресс в трудоустройстве вы будете отслеживать с помощью специальных дневников. Работать над ошибками мы будем вместе с вами: мы подскажем, что нужно подтянуть и в каком направлении лучше мыслить, чтобы эффективнее справляться с задачами на собеседованиях.
90
₽
Learn more
РАБОТА МЕЧТЫ
Наша цель — довести вас до оффера. Среднее время трудоустройства с сопровождением составляет 1-1,5 месяца.
108
₽
Learn more
САМОПРЕЗЕНТАЦИЯ
Чтобы получить сильное резюме и навыки самопрезентации вы пройдете: - Лекции и вебинары по составлению резюме от HR-эксперта Яндекс - Тест-драйв собеседования - Консультацию, на которой определите стратегию поиска работы и пропишете карьерные цели
ВЫБОР ВАКАНСИЙ
После подготовки всех необходимых материалов вы получите доступ к Telegram-каналам, где ежедневно обновляются вакансии от наших партнёров. На заинтересовавшие вас вакансии HR отправят ваше резюме с рекомендациями и организуют собеседование.
ОТСЛЕЖИВАНИЕ ПРОГРЕССА
Свой прогресс в трудоустройстве вы будете отслеживать с помощью специальных дневников. Работать над ошибками мы будем вместе с вами: мы подскажем, что нужно подтянуть и в каком направлении лучше мыслить, чтобы эффективнее справляться с задачами на собеседованиях.
РАБОТА МЕЧТЫ
Наша цель — довести вас до оффера. Среднее время трудоустройства с сопровождением составляет 1-1,5 месяца.
Более 10 лет опыта работы с данными. Архитектор DWH и систем анализа данных в VK и Яндекс.Такси. Кандидат технических наук, автор более 10 работ в области анализа данных. Соавтор монографии по теории и практике анализа параллельных баз данных.
Более 8 лет создаёт и развивает системы для работы с большими данными. На протяжении 5 лет занимается консалтингом и помогает разным продуктам решать задачи в области ML, анализа данных и проведения экспериментов.
Технический менеджер продукта ML Platform в VK Cloud Solutions
Специалист по Big Data и AI, занимается внедрением сложных кастомных проектов. Участвовал в создании хранилищ данных в компаниях Платформа ОФД, X5 и VK.
Руководитель группы развития BI-систем в Яндекс Go
Более 6 лет занимается визуализацией данных. Руководил разработкой SaaS BI сервиса в качестве операционного директора. Сертифицированный Tableau специалист, кандидат технических наук, автор блога и Telegram-канала о визуализации данных Reveal the Data.
Более 8 лет занимается распределёнными системами для обработки больших данных, облачными решениями и внедрением алгоритмов машинного обучения. Участвовал в разработке платформ для работы с данными в компаниях Amazon, Сбер, Дом.рф, Novartis, Kohl’s.
Более 10 лет опыта работы с данными. Архитектор DWH и систем анализа данных в VK и Яндекс.Такси. Кандидат технических наук, автор более 10 работ в области анализа данных. Соавтор монографии по теории и практике анализа параллельных баз данных.
Более 8 лет создаёт и развивает системы для работы с большими данными. На протяжении 5 лет занимается консалтингом и помогает разным продуктам решать задачи в области ML, анализа данных и проведения экспериментов.
Специалист по Big Data и AI, занимается внедрением сложных кастомных проектов. Участвовал в создании хранилищ данных в компаниях Платформа ОФД, X5 и VK.
Технический менеджер продукта ML Platform в VK Cloud Solutions
Руководитель группы развития BI-систем в Яндекс Go
Более 6 лет занимается визуализацией данных. Руководил разработкой SaaS BI сервиса в качестве операционного директора. Сертифицированный Tableau специалист, кандидат технических наук, автор блога и Telegram-канала о визуализации данных Reveal the Data.
Более 8 лет занимается распределёнными системами для обработки больших данных, облачными решениями и внедрением алгоритмов машинного обучения. Участвовал в разработке платформ для работы с данными в компаниях Amazon, Сбер, Дом.рф, Novartis, Kohl's.
Я остался доволен курсом: и технологии новые освоил (причём в прикладном, а не обзорном формате), и пробелы в фундаментальном понимании закрыл. И самое главное — загорелся идеей развернуть своё дата-решение в облаке. В результате я взял сервер на DigitalOcean и сделал там своё рабочее пространство: прямо по всем рекомендациям с уроков развернул в нём кластеры, Jupyter, Superset для визуализации, Airflow для автоматизации, а также Spark и ClickHouse. Остался весьма доволен.
Сейчас я перестраиваю свой пет-проект и переношу на этот сервер — с построением процессов, как разбирали на курсе. У меня, конечно, не BigData, всё куда прозаичнее и меньше, но зато теперь есть реальный опыт ;)
Я работал с машинным обучением и аналитикой, делал скоринговые и рекомендательные модели. На прошлом месте работы я руководил командой, в которой были инженеры данных. И я хотел подтянуть свои компетенции. Сейчас я поменял работу из-за переезда. Компания меньше, поэтому где-то я делаю аналитику, где-то выполняю функции инженера, а где-то разрабатываю.
Сначала я проходил курсы на Stepik, оттуда узнал про курс Hard ML в Karpov.Courses. К собственным конспектам Hard ML регулярно возвращаюсь, чтобы лучше решать задачи по работе. Сомнений при покупке курса по инженерии данных не было, хотя после курса Hard ML ожидания были высокие. По результатам: в целом всё то, что хотел узнать, я узнал. Теоретические видео были интересными и содержательными. Понравился блок по облачным хранилищам, сразу есть возможность развернуть что-то своё. Бывает, пересматриваю блок по ETL — знания оттуда помогают решать рабочие задачи. Немного не хватило практики. Хотелось бы больше заданий на написание кода. С точки зрения формата — хорошо, что все лекции записаны заранее. Я думаю, что это правильно — преподаватели не устают и не выдыхаются. Приятно, что вокруг курсов сформировалось комьюнити, и в чатах помогают как студенты, так и преподаватели.
Я остался доволен курсом: и технологии новые освоил (причём в прикладном, а не обзорном формате), и пробелы в фундаментальном понимании закрыл. И самое главное — загорелся идеей развернуть своё дата-решение в облаке. В результате я взял сервер на DigitalOcean и сделал там своё рабочее пространство: прямо по всем рекомендациям с уроков развернул в нём кластеры, Jupyter, Superset для визуализации, Airflow для автоматизации, а также Spark и ClickHouse. Остался весьма доволен.
Сейчас я перестраиваю свой пет-проект и переношу на этот сервер — с построением процессов, как разбирали на курсе. У меня, конечно, не BigData, всё куда прозаичнее и меньше, но зато теперь есть реальный опыт ;)
Я работал с машинным обучением и аналитикой, делал скоринговые и рекомендательные модели. На прошлом месте работы я руководил командой, в которой были инженеры данных. И я хотел подтянуть свои компетенции. Сейчас я поменял работу из-за переезда. Компания меньше, поэтому где-то я делаю аналитику, где-то выполняю функции инженера, а где-то разрабатываю.
Сначала я проходил курсы на Stepik, оттуда узнал про курс Hard ML в Karpov.Courses. К собственным конспектам Hard ML регулярно возвращаюсь, чтобы лучше решать задачи по работе. Сомнений при покупке курса по инженерии данных не было, хотя после курса Hard ML ожидания были высокие. По результатам: в целом всё то, что хотел узнать, я узнал. Теоретические видео были интересными и содержательными. Понравился блок по облачным хранилищам, сразу есть возможность развернуть что-то своё. Бывает, пересматриваю блок по ETL — знания оттуда помогают решать рабочие задачи. Немного не хватило практики. Хотелось бы больше заданий на написание кода. С точки зрения формата — хорошо, что все лекции записаны заранее. Я думаю, что это правильно — преподаватели не устают и не выдыхаются. Приятно, что вокруг курсов сформировалось комьюнити, и в чатах помогают как студенты, так и преподаватели.