УЗНАТЬ БОЛЬШЕ
Мы свяжемся с вами и ответим на все ваши вопросы по курсу.
ХОЧЕШЬ ПРОКАЧАТЬСЯ
В DEVOPS? ОБУЧЕНИЕ У НАС |
Научим тебя самостоятельно строить отказоустойчивое и масштабируемое Big Data окружение с нуля.
СТАРТ ПРОГРАММЫ
В РАЗРАБОТКЕ
ФОРМАТ ОБУЧЕНИЯ
ОНЛАЙН
КОМУ ПОДОЙДЁТ
ДЛЯ JUNIOR/MIDDLE
ПОЭТАПНАЯ ОПЛАТА
НА 5 МЕСЯЦЕВ
ГРИГОРИЙ ОЖЕГОВ И ДРУГИЕ
НАУЧИМ ДЕЛАТЬ СРАЗУ |
DevOps-инженерами обычно становятся люди из области разработки или системного администрирования. Овладевая best practice индустрии, основываясь на личном опыте и понимании того, как всё должно работать, с учётом проб и ошибок они со временем вырастают в хороших DevOps-инженеров.
ОБУЧЕНИЕ ПРОХОДИТ В ИНТЕНСИВНОМ ФОРМАТЕ ПО 2 ЗАНЯТИЯ В НЕДЕЛЮ
Все лекции доступны в записи
ДОМАШНИЕ ЗАДАНИЯ ВЫ РЕШАЕТЕ НА ВЫДЕЛЕННОМ ДЛЯ ВАС СЕРВЕРЕ
На учёбу наши студенты тратят в среднем 10 часов в неделю
Мы предлагаем альтернативный путь. В этот курс мы упаковали все базовые знания, которые необходимы начинающему DevOps-инженеру для погружения в профессию. Выпускник программы сможет сразу грамотно выстроить инфраструктуру для работы с данными, соответствующую текущим задачам компании. Не совершая при этом детских ошибок.
Мария Жавадова,
наставница курса
ЗДЕСЬ >>> НАЧИНАЕТСЯ ТВОЙ ПУТЬ В МИР DEVOPS!
[Более 30 тысяч человек] уже успешно прошли наши курсы по Data Science. Вашими наставниками будут ведущие DataOps из Yandex, VK, Mail.ru ///
VK
КАК ПРОХОДИТ ОБУЧЕНИЕ
СМОТРИТЕ ЛЕКЦИИ
И ИЗУЧАЙТЕ ТЕОРИЮ
— Общайтесь с преподавателями и кураторами в чате Slack
— Изучайте материалы в удобном для вас темпе
— Выполняйте домашние задания на нашей инфраструктуре

ЗАКРЕПЛЯЙТЕ ЗНАНИЯ
В СПЕЦИАЛЬНЫХ ТРЕНАЖЕРАХ
— Работайте с реальным окружением на выделенном сервере
— Отправляйте свои решения на проверку
— Обсуждайте решения с преподавателями и другими студентами
— Общайтесь с преподавателями и кураторами
в чате Slack
— Изучайте материалы в удобном для вас темпе
— Выполняйте домашние задания на нашей инфраструктуре

ПРАКТИКУЙТЕСЬ В БОЕВЫХ УСЛОВИЯХ
— Пройдите путь по созданию Big Data окружения с нуля
— Постройте окружение, готовое к работе в реальных условиях
ЗАДАВАЙТЕ ЛЮБЫЕ ВОПРОСЫ В ПОДДЕРЖКУ
— Обсуждайте задачи и проекты с преподавателями
— Вашими менторами будут DataOps-специалисты из ведущих компаний России
ДЛЯ КОГО ЭТА ПРОГРАММА:
РАБОТАЕТЕ С ДАННЫМИ
Вы научитесь самостоятельно поддерживать ваше окружение в наиболее эффективной и удобной конфигурации. В перспективе это поможет вам сократить время на инфраструктурные задачи. Также полученные знания и понимание работы сервисов помогут вам в оптимизации продуктовых задач.
УЖЕ РАБОТАЕТЕ В DEV OPS
Вы прокачаете hard skills в DevOps и узнаете о best practice решениях по работе с данными. Закончив курс, вы научитесь строить оптимальное Big Data окружение, подходящее под ваши задачи.
ПРОГРАММА КУРСА ://
|
Узнаем, зачем нужны системы управления конфигурацией, и научимся их использовать. Разберём популярные решения: ansible, puppet, chef, saltstack. Освоим ansible на продвинутом уровне.
Открыть программу
1. Программное конфигурирование инфраструктуры, знакомство с Ansible
Обсудим, почему нельзя настраивать сервера руками. Рассмотрим несколько похожих друг на друга SCM. Начнём детально рассматривать Ansible.
2. Ansible: vars, facts, files, handlers, vault
Узнаем про использование переменных в Ansible. Разберёмся с тем, что такое facts и magic variables. Научимся рендерить и доставлять файлы на сервера, а также выполнять различные команды при их изменении. Обсудим, как хранить секреты у всех на виду.
3. Ansible: программирование на YAML, самописные facts
Познакомимся с наиболее часто используемыми тасками и рассмотрим, как запускать их от имени разных пользователей. Научимся делать циклы и условия во избежание дублирования логики. Разберёмся, как запускать только нужные операции, и напишем на Python скрипт, собирающий факты о сервере.
|
Узнаем, что такое виртуализация и какие практические задачи она решает. Рассмотрим виды виртуализаций и области их применения. Разберём такие решения, как virtualbox, parallels, vmware, libvirt, lxc, docker. Узнаем, что такое vagrant и как им пользоваться. Научимся собирать docker-контейнеры и управлять ими при помощи docker-compose. Рассмотрим способы оркестрации контейнеров с помощью таких приспособлений, как Hashicorp Nomad, Docker Swarm, Kubernetes.
Открыть программу
1. Что такое виртуализация и зачем она нужна
Поговорим о различных типах виртуализации и сферах её применения. Научимся создавать виртуальные машины для разработки с помощью Vagrant.
2. Docker: введение, разбор основных команд
Разберём, как работает Docker. Соберём свой контейнер. Запустим и рассмотрим под микроскопом всё, что в нём протекает.
3. Docker: погружение в детали
Рассмотрим различные полезные команды, используемые для сборки и эксплуатации контейнеров.
4. Деплой Docker-контейнеров
Разберём способ запуска нескольких процессов в одном контейнере. Научимся использовать multistage сборку. Применим знания ansible для деплоя контейнера из docker registry.
5. Docker-compose
Разберём возможности docker-compose и научимся поднимать контейнер с помощью этого инструмента.
6. Запуск двух контейнеров через docker-compose
Подселим второй контейнер к контейнеру из предыдущего занятия и настроим их взаимодействие через ansible.
7. Оркестрация: обзор docker swarm, nomad kubernetes
Поговорим на тему разворачивания сотен контейнеров, отслеживания их состояния и организации их взаимодействия друг с другом.
|
Рассмотрим строковые базы данных: MySQL, SQLite, PostgreSQL. Научимся разворачивать и управлять PostgreSQL, анализировать работоспособность, настраивать отказоустойчивость и повышенную производительность, а также выстраивать работу в Docker контейнерах. Обсудим сходства и различия Clickhouse и Vertica, рассмотрим области их применения. Подробно рассмотрим Clickhouse и научимся его использовать. Изучим Zookeeper, научимся настраивать репликацию в Clickhouse и построим отказоустойчивый кластер Clickhouse.
Открыть программу
1. Строковые базы данных
Обсудим строчные БД: то, как они хранят информацию, и когда их можно применять. Начнём рассматривать PostgreSQL: поговорим об архитектуре, конфигурации и запуске.
2. Подробнее о PostgreSQL
Разберёмся с множеством утилит, которые прилагаются к PostgreSQL. Научимся диагностировать медленные запросы. Рассмотрим connection poller и применим его на практике.
3. Колоночные базы данных
Обсудим колоночные БД: то, как они хранят информацию, и когда их можно применять. Начнём рассматривать Clickhouse: поговорим об архитектуре, конфигурации, запуске.
4. Погружение в Clickhouse
Рассмотрим движки таблиц. Поймём, в чем их различие, и обсудим, в каких случаях лучше применять тот или иной движок. Разберёмся с партиционированием и словарями.
4. Clickhouse отказоустойчивый
Обсудим Zookeeper: поговорим о CAP-теореме, разберёмся, зачем он нужен для Clickhouse. Научимся поднимать кластер из двух машин, одну из которых можно потерять.
4. Clickhouse масштабируемый
Научимся объединять пары машин в один большой кластер.
|
Научимся разворачивать и масштабировать Jupyter. Узнаем, как правильно готовить CI/CD для Big Data окружения — рассмотрим git, gitosis, gitolite, gitlab, bitbucket. Научимся разворачивать и масштабировать Airflow и вкратце обсудим брокеров сообщений. Научимся разворачивать Redash и Grafana и подключать к ним различные источники: clickhouse, graphite, elasticsearch, prometheus.
Открыть программу
1. Jupyter
Научимся поднимать Jupyter. Рассмотрим разные Spawners и возможности запуска ядер.
2. Gitlab
Поднимем git-репозиторий. Разберёмся с различными настройками и настроим CI/CD.
3. Airflow
Научимся поднимать Airflow, конфигурировать и масштабировать его при увеличении количества задач. Обсудим архитектуру приложения.
4. Redash
Научимся поднимать Redash. Поговорим о нюансах конфигурации и архитектуре.
5. Grafana
Научимся поднимать Grafana, настраивать отображение графиков из различных источников данных и отправку алертов по различным условиям.
|
Узнаем, что такое Hadoop, зачем его применяют и что из себя представляет его архитектура. Научимся разворачивать Hadoop, управлять его базовой конфигурацией и работать с получившимся окружением. Усовершенствуем кластер до High Availability решения и научимся его мониторить.
Открыть программу
1. История HDFS
Кратко разберём историю HDFS: как и зачем он появился. Обсудим концепцию распределённой файловой системы и ключевые сервисы HDFS. Поговорим о двух конфигурациях: простой и высокой доступности. Обсудим, что происходит под капотом при простых операциях. Вкратце расскажем о JMX и метриках.
2. Установка HDFS в простой конфигурации
Установим HDFS в простой конфигурации. Сначала детально разбираемся руками, затем подготовим плейбуки ансибла.
3. Обновление конфигурации кластера до High Availability
Обновим конфигурацию кластера до High Availability. Отключим вторичную неймноду, добавим резервные неймноды и кластер журнальных нод, настроим автоматический failover.
3. Типы хранилищ и политики хранения данных внутри HDFS, настройка сбора метрик через JMX
Обсудим типы хранилищ и политики хранения данных внутри HDFS. Рассмотрим холодные, теплые и горячие стораджи. Разберёмся с кэшированием. Настроим сбор метрик через JMX.
|
Узнаем, что такое Yarn, зачем он нужен и какие ему существуют альтернативы. Поймём, что такое Resource Manager и Node Manager. Научимся их деплоить, использовать и дебажить. Разберёмся с очередями задач и узнаем, как ими управлять и как их мониторить.
Открыть программу
1. Теория, установка YARN
Задеплоим Resource Manager и Node Manager’ы. Проверим их работоспособность, запустив что-то простое, например, HelloWorld и WordCount.
2. Очереди, метрики, WordCount
Разберёмся с очередями и динамической аллокацией. Поговорим о профилировании и оценке потребляемых ресурсов. Настроим сбор JMX-метрик.
|
Узнаем, что такое Map Reduce. Рассмотрим архитектуру Spark. Научимся его деплоить и настраивать. Поймём, как разбираться в неисправностях, мониторить и контролировать его производительность.
Открыть программу
1. Теория Map Reduce и устройство Spark
Поговорим о принципе распределенных вычислений и кратко затронем парадигму MapReduce. Обсудим, как работает связка Spark + YARN + HDFS. Рассмотрим утилизацию кластера и параметры экзекуторов: размер кучи, количество ядер и тасок. Расскажем о data locality, spark-shell vs spark-submit и deploy mode: client vs cluster.
2. Установка Spark
Задеплоим Spark и проверим его работоспособность, запустив HelloWorld.
3. Мониторинг, ресурсы, производительность
Поговорим о мониторинге и тюнинге Spark-приложений. Обсудим, как быть админу, если ресурсов всегда не хватает. Рассмотрим настройку JMX-метрик.
|
Узнаем, что такое Hive и для каких задач он подходит. Сравним Tez и Spark в качестве движков. Разберёмся с основными параметрами мониторинга.
Открыть программу
1. Теория
Познакомимся с устройством Hive и его основными компонентами. Посмотрим, как они взаимодействуют с HDFS. Узнаем, где и как хранятся метаданные, и как Hive работает с данными с меняющейся структурой. Поговорим про особенности разных движков выполнения (execution engines).
2. Установка Hive
Попрактикуемся устанавливать и настраивать Hive, обеспечивая его основными метриками для мониториинга.
2. Настройка мониторинга, профилирование
Научимся профилировать выполняющиеся в Hive запросы и оценивать их эффективность.
|
Рассмотрим и сравним разных провайдеров: Hetzner, Digital Ocean, Amazon, Yandex Cloud, GCM. Обсудим инструкции по работе с этими провайдерами. Задеплоим сервис с помощью Kubernetes.
Открыть программу
1. Обзор провайдеров
Познакомимся с множеством различных поставщиков вычислительных ресурсов.
2. Dedicated, VDS, Container Cloud (Kubernetes), Serverless
Разберёмся, куда и в каких случаях разворачивать приложения для достижения максимальной рентабельности.
3. Сравнение цен
Обсудим, как уложиться в предоставленный бюджет при выполнении рабочих обязанностей.
4. Инструкции по работе с Hetzner, Digital Ocean, Amazon, Yandex Cloud, GCM
Детально посмотрим на популярных провайдеров и научимся ими пользоваться.
5. Краткий разбор Kubernetes, деплой небольшого сервиса
Создадим в облаке кластер Kubernetes и развернём в нём небольшой сервис.
УЧИТЕСЬ У >ЛУЧШИХ>
ДЕНИС ЦВЕТКОВ
Опыт работы более 20 лет
Старший разработчик в Quadcode, работал в VK
Построил с нуля платформу потоковой обработки
данных в VK
Сертифицированный Microsoft профессионал в области разработки баз данных
ГРИГОРИЙ ОЖЕГОВ
Опыт работы более 8 лет
Старший разработчик в Yandex, работал в Mail.ru
Сооснователь студии KTS
CTO Karpov.Courses
МАРИЯ ЖАВАДОВА
Опыт работы более 5 лет
Основатель bigdata-окружения VKontakte
Ex-product комментариев VKontakte, внедрила двухуровневые комментарии
Руководитель B2B направления электронной коммерции VKontakte
ПОЛНАЯ ВЕРСИЯ
+ Модуль «Управление конфигурацией»
+ Модуль «Виртуализация»
+ Модуль «Базы данных»
+ Модуль «Инструменты для работы с данными»
+ Модуль «HDFS»
+ Модуль «YARN»
+ Модуль «Spark»
+ Модуль «Hive»
+ Модуль «Облака»
+ Поддержка от преподавателей
+ Работа на удалённом сервере
Все модули курса. Доступ к поддержке от наших преподавателей, готовых ответить на любые вопросы. Возможность работы на удалённом сервере.
25 000 ₽
100 000 ₽
ПОМЕСЯЧНО:
ПОЛНАЯ ОПЛАТА:
Оплата в течение
5 месяцев
Скидка 25 000 ₽
при полной оплате
125 000 ₽
FAQ
Какой уровень требуется для прохождения курса?
Этот курс будет полезен как тем, кто уже умеет работать с данными и хочет научиться настраивать окружение самостоятельно, так и тем, кто работает в IT, но хочет стать ближе к Big Data.
Можно ли посмотреть отзывы студентов, которые уже прошли курс?
Это первый запуск курса. Как студенты первого потока вы получите доступ ко всем обновлениям в течение года, если курс будет обновляться.
Как оформить поэтапную оплату?
Поэтапная оплата происходит равными платежами раз в месяц. Для оплаты поэтапно просто перейдите по ссылке на странице оплаты.
Как проходит обучение?
Вы смотрите лекции, выполняете домашние задания на удалённом сервере. А если у вас появляются вопросы, вы можете задавать их менторам или преподавателям в Slack.
Если я пропущу лекцию, смогу ли я посмотреть её потом?
Да, конечно. Записи лекций будут вам всегда доступны.
Какой язык программирования мы будем использовать?
Мы будем использовать Python и Bash, потому что они являются удобными и популярными языками в повседневной работе DataOps'а.
Могу ли я получить помощь в перерывах между занятиями?
Да. Все студенты курса общаются с преподавателями и между собой в Slack. В чате можно задать любые вопросы по обучению, наши преподаватели обязательно ответят вам.
Зачем платить деньги, если я могу пройти ваши бесплатные курсы?
Справедливое замечание. В открытых источниках есть множество бесплатной информации, например, курсы на Stepik.

Однако не всем подходит формат самостоятельного обучения. Обучаясь в компании опытных наставников и других студентов, вы получите ощутимые результаты значительно быстрее.
Я начал курс, но мне не понравилось. Вы вернёте деньги?
Да. В течение двух недель после начала курса вы можете вернуть оплату за весь курс. Также в течение месяца мы готовы вернуть вам сумму за вычетом уже пройденного материала.
Получу ли я сертификат?

Конечно! После успешного завершения курса вы получите электронный сертификат, подтверждающий его прохождение.


Для этого необходимо выполнить два условия:

1. Сделать не менее половины домашних заданий курса.

2. Выполнить финальный проект и получить на него рецензию.


Однако важно помнить, что как при приёме на работу, так и непосредственно в работе главное — это полученные Hard Skills.

Есть ли у вас образовательная лицензия?
Нет. Мы оказываем информационно-консультационные услуги.
У меня есть свои задачи по работе с данными, которые я хочу научиться решать. Поможет ли мне ваш курс?
Уверены, что поможет. Вы всегда можете посоветоваться в чате с кураторами или с другими студентами.
ПО ЛЮБЫМ ВОПРОСАМ ОБРАЩАЙТЕСЬ ЧЕРЕЗ ФОРМУ НА САЙТЕ ИЛИ НА НАШУ ПОЧТУ
ПО ЛЮБЫМ ВОПРОСАМ ОБРАЩАЙТЕСЬ 
НА НАШУ ПОЧТУ
УЗНАТЬ БОЛЬШЕ
Мы свяжемся с вами и ответим на все ваши вопросы по найму учеников.