valerymamontov / data-engineering

Getting Started with Data Enngineering

Добро пожаловать в Data Learn

Data Learn - это открытый ресурс, главная задача которого - научить вас.

Так как мы не коммерческая организация, мы очень хотим, чтобы наше время, затраченное на создание материалов, помогло вам. И у нас реальные учителя, которые работали в крупнейших компаниях в разных странах и городах и хотят помочь другим стать чуточку успешней ;)

Курсы Data learn

На начальном этапе существует 2 курса, которые взаимосвязаны:

1. Getting Started with Data Engineering - курс про мою работу инженером данных. Если бы я брал на работу инженера данных, я бы хотел, чтобы он обладал знаниями и компетенциями, которые мы затронем в курсе. Курс включает в себя базовые вещи, такие как Business Intelligence инструменты, базы данных, ETL инструменты, облачные вычисления и многое другое. Даже если у вас нету опыта с данными, то это вам не помешает. Первые несколько модулей будут посвящены основам аналитики и классическим задачам: Business Intelligence (отчетность, визуализация, хранилище данных, SQL, Excel, интеграция данных). Это будет достаточно для профессии BI разработчик, Аналитик и тп. Начиная с 5-6 модуля мы начнем углубляться непосредственно в работу Инженера Данных, опираясь на знания, полученные на начальных этапах.

2. Data Literacy - это совсем базовый курс для тех, кто совсем не работал с данными и вот ему пришлось. Задачки могут быть уровня открыть отчет и прочитать его, понять о чём он, как им пользоваться. То есть основы аналитики для менеджеров бизнес-подразделений. (Данный курс будет создаваться после Data Engineering)

Так как оба курса создаются одним автором, то между ними будет большое пересечение.

Также мне хотелось бы выделить еще один элемент - Аналитика для Женщин. Это не столько курс, сколько community. Я вижу большой спрос на такого рода сообщества на западе и я подумал, что было бы классно иметь такое в русскоязычном сообществе для того, чтобы прекрасная половина могла изучать аналитику и технологии в своей комфортной зоне и со своей скоростью. Я бы хотел, чтобы нашлись заинтересованные девушки, кто будет развивать это направление, а я бы помогал с контентом (на данном этапе в этом направлении пока ничего не делается).

Если первые два курса хорошо зайдут, то можно будет добавить специализации по отдельным технологиям или углубляться в отдельные модули, например Python, Spark, Streaming, Cloud и многое другое. Возможно, появятся заинтересованные люди, которые захотят создать свои курсы.

Также у нас есть отличная возможность проводить вебинары и приглашать спикеров со всего мира. Возможно, получится даже привлечь компании, которые будут заинтересованы в специалистах. Да и само сообщество должно помочь в поиске работы и сотрудников.

Еще из интересного - хотелось бы сделать несколько отдельных дополнительных курсов:

• По подготовке резюме, поиску работы и прохождению собеседований для аналитических специальностей.
• По подготовке менеджеров для управления аналитической командой. По моему опыту, тут уже требуются другие навыки, так как технические навыки руководителей часто вынужденно уходят на второй план, уступая место благополучию команды и вовлеченности каждого ее члена.

Сложно осуществить всё задуманное в одиночку, будьте проактивными и помогайте!

Навигация

1. Вы регистрируетесь на сайте Data Learn.
2. Вы получаете письмо от hello@, в котором будет ссылка не большой опрос про ваш опыт и интерес к ресурсу. Вам нужно заполнить опрос. Если не получили письма, то проверяйте папку СПАМ.
3. Когда вы пройдете опрос, на странице по завершения опроса вы увидите ссылку приглашение в Slack.

Каналы в Slack

• data_learn_announce - главный канал, в него мы публикуем новости, анонсируем новые видео. Вы можете комментировать сообщения.
• data_learn_chat - болталка для всех и обо всем.
• data_ambassadors - канал для дата волонтеров. Если вы хотите помогать и делиться знаниями, то смело добавляйтесь.
• de_moduleXX-cohortXX - у каждого модуля будет отдельный канал, где будет обсуждаться домашнее задание и можно попросить помощи у коллег.
• ask-help-with-data-stuff - можно задать вопрос на любую тему или попросить помочь с вашей работой
• x_data_learn_github - это канал почти как спам, туда попадают уведомления об изменении GitHub репозитория.

Структура репозитория

Это репозиторий ресурса Datalearn.ru. Наша задача - это распространение знаний в области аналитики, связанных с Инжинирингом данных, подходами, лучшими практиками и инструментами.

• Папка how-to содержит различные инструкции: как скачать ту или иную программу и/или настроить ее. По ходу курса мы при необходимости будем ссылаться на конкретную инструкцию.

• DE-101 Guide.md - это наш учебник, конспект лекций курса DE-101 (Getting Started with Data Engineering), который содержит всю необходимую информация и имеет ссылки на необходимые ресурсы (видео, упражнения и тд) для успешного прохождения курса.

• Папки DE-101/Module-XX/Lab/ - информация по упражнениям курса. Для каждого модуля организована своя подпапка (Module-01, Module-02, ...). В папка будет находится информация по домашним заданиям для каждого модуля.

Начало обучения - Введение в Инжиниринг Данных (DE-101)

Вы можете ознакомится с вводными видео лекциями:

1. Вводная информация Data Learn.
2. Что будет на курсах Data Learn.

Для начала курса перейдите в наш учебник DE-101.