> Познакомитесь с облачным Hadoop от Yandex — Data Proc
Инженер данных в Yandex Cloud
бесплатный курс
> Изучите основные возможности Yandex.Cloud
для новичков
Партнёр курса >>
Yandex Cloud — надежная инфраструктура и развитая экосистема для создания и совершенствования цифровых продуктов.
Что будете изучать /?/
Основная цель курса — освоить сервис Yandex Data Proc, который позволяет разворачивать кластеры Apache Hadoop и Apache Spark в инфраструктуре Yandex Cloud.
В частности, Hadoop предназначен для сбора, хранения и распределенной обработки сотен терабайт информации, которая поступает непрерывным потоком. Именно на его основе строятся объемные хранилища неструктурированной информации для последующей аналитики.
Чему научитесь //
Создавать и удалять Hadoop-кластеры для экономии ресурсов и оптимизации затрат
Интегрировать Yandex Cloud с другими облачными сервисами
Обеспечивать безопасность кластеров
Выбирать оптимальные компоненты для создания кластеров
Настраивать виртуальные машины
Какие инструменты освоите:
Ключевые компоненты кластера Hadoop, обеспечивающие распределенное хранение и эффективное управление ресурсами
DFS и YARN
Платформа для обработки больших данных, поддерживающая обработку в памяти
Spark
Программная модель для обработки больших объемов данных
MapReduce
Фундаментальная структура данных в Spark для хранения данных в распределенной форме
RDD (Resilient Distributed Dataset)
После завершения обучения вы сможете самостоятельно работать с большими данными на базе Yandex Cloud и продолжать осваивать новые инструменты.
Кому подойдет обучение /?/
Отметьте энтузиазм сотрудников вкладом в их профессиональное развитие — адресат сможет выбрать любой курс или симулятор, а приобретенные навыки использовать в работе.
Для тех, кто только начинает свой путь к карьере дата-инженера, или пока вообще не имеет представления о том, что такое инженерия данных.
Бесплатный курс предназначен для новичков
Эксперты курса >>
Антон Пилипенко
ETL Team lead в IPONWEB.
Более 10 лет создаёт и развивает системы для работы с большими данными. На протяжении 6 лет занимается консалтингом и помогает разным продуктам решать задачи в области ML, анализа данных и проведения экспериментов.