Основы Data Science и Big Data, часть 1

Data Science (DS) — это совокупность понятий и методов, позволяющих придать смысл и понятный вид большим объемам данных. Междисциплинарная область Data Science на стыке статистики, математики, системного анализа и машинного обучения, которая охватывает все этапы работы с данными. Big Data обучение в Москве или большие данные — это структурированные или неструктурированные массивы данных большого объема. Их обрабатывают при помощи специальных автоматизированных инструментов, чтобы использовать для статистики, анализа, прогнозов и принятия решений. Задачи работы в области Big Data составляют различные способы анализа и систематического извлечения больших объемов данных, что включает применение механических или алгоритмических процессов получения оперативной информации для решения сложных бизнес-задач.

На курсе слушатели познакомятся с основами области data science и большими данными. Изучат теоретические основы и характерные шаги процесса data science, применение принципов машинного обучения к наборам данных постепенно увеличивающихся размеров от легко помещающихся в памяти компьютера до настоящих больших данных. Рассмотрят практический пример Hadoop.

Описание курса

Целевая аудитория

Начинающие специалисты, решающие задачи получения, трансформации и выдачи данных

Расписание открытых форматов курса

Дистанционный формат — 49 500 ₽.

Очный формат — 49 500 ₽.

Стоимость обучения одного слушателя

В результате освоения курса вы:

основным этапам и действиям процесса data science;
основам различных подходов и типов машинного обучения;
работать с большими данными на локальном компьютере;
основам работы с распределенными системами для работы с Big Data.

основные типы данных, их отличия и особенности;
инструментарий и инфраструктуры для обработки больших данных;
как выделить основные этапы и действия процесса data science;
как применять методы машинного обучения в data science;
какие инструменты Python можно использовать в машинном обучении;
какие есть общие методы при работе с большими наборами данных;
как работать с Hadoop — инфраструктурой для хранения и обработки данных;
как работать со Spark — инфраструктурой кластерных вычислений.

Научитесь

Узнаете

Основная информация

13 мая 2024
30 сентября 2024

пн–чт 10:00–17:30

49 500 руб.

м. Аэропорт,
Ленинградский проспект 68/24

Верхотуров Марк Валерьевич
Беляев Александр Владимирович

Порядок записи на курс

Консультация

Выбор курса

Заключение договора

Оплата обучения.

Подробная программа курса

1 Введение

● Определение data science и больших данных.
● Python — преимущества применения языка для data science.

2 Data science в пространстве больших данных

● Разные типы данных. Рассмотрение основных типов данных, их отличий и особенностей.
● Структура типичного процесса data science. Коротко, основные пункты.
● Разнообразие инструментария и инфраструктур для больших данных.
● Пример использования Hadoop.

3 Процесс data science

● Основные этапы и действия процесса data science. Структура процесса data science.
● Определение целей исследования и создание проектного задания. Этап 1.
● Сбор данных. Этап 2.
● Очистка, валидация, интеграция, и преобразование данных. Этап 3.
● Исследование и анализ данных. Этап 4.
● Моделирование данных. Этап 5. Создание, выполнение и сравнение моделей.
● Отображение и автоматизация анализа данных. Этап 6.

4 Машинное обучение в data science

● Применение машинного обучения в data science. Инструменты Python, используемые в машинном обучении.
● Процесс моделирования.
● Различные подходы и типы машинного обучения.
a. Методы контролируемого обучения. Методы, которые различают результаты и учатся выявлять закономерности в наборе помеченных человеком данных.
b. Методы неконтролируемого обучения. Методы, которые ищут закономерности в наборе неразмеченных данных.
c. Методы с частичным контролем. Методы, которые используют особенности вышеописанных методов.

5 Работа с большими данными на локальном компьютере

● Основные проблемы при работе с большими объемами данных.
● Общие методы работы с большими данными.
● Общие рекомендации при работе с большими наборами данных.
● Практический пример использования: Построение рекомендательной системы внутри базы данных.

6 Системы для работы с Big Data

● Распределение хранения и обработки данных в инфраструктурах.
● Hadoop — инфраструктура для хранения и обработки данных. Структура и компоненты Hadoop.
● Spark — инфраструктура кластерных вычислений. Структура и компоненты.
● Практический пример: Оценка риска кредитования.

Возможные форматы обучения и размеры групп

очно (до 15 слушателей);
дистанционно в составе очной группы (без ограничения числа подключений);
корпоративный формат (для групп от 10 до 15 слушателей).

Документы об окончании

Удостоверение о повышении квалификации

Требуемый уровень предварительной подготовки

Слушатели должны быть знакомы с основными принципами работы в операционной системе, обладать базовыми навыками программирования на языке Python (или пройти обучение на курсах «Программирование на Python, часть 1» и «Программирование на Python, часть 2»).
Желательно иметь навыки математических вычислений в части разделов: теория вероятности, статистика, математический анализ, линейная алгебра.

Руководитель IT проектов, Разработчик Python, Data Scientist, ML-engineer

Разработка на Python
Сбор и анализ данных
Преобразование "сырых" данных в полезную информацию для бизнеса
Создание и обучение предиктивных моделей с помощью алгоритмов машинного обучения и нейросетей
Помощь бизнесу в нахождении скрытых закономерностей, прогнозировании развития событий и оптимизации ключевых бизнес-процессов

Консалтинг
Коучинг

Специализация

Должность

Дополнительные услуги

Ведёт 13 курсов в ЦЕСИНКОМ

Разработчик информационных систем, системный аналитик, аналитик данных

Разработка на Python
Машинное обучение
Математическая оптимизация

Консалтинг

Специализация

Должность

Дополнительные услуги

Ведёт 19 курсов в ЦЕСИНКОМ

Разработка курса или траектории обучения под вашу задачу

Центр готов взять на себя разработку курсов и траекторий обучения под уже сформированную модель компетенций или просто под список знаний и навыков, которые нужно освоить специалистам организации.

Рекомендуемые курсы

Список курсов, которые дополняют данный курс

Список категорий каталога, в которые включён курс

Траектории, в которые входит данный курс

Список курсов, требующихся для прохождения данного курса