Профессионал, который превращает беспорядочные данные в полезную информацию

Содержание:

• Что такое Data Science
• Из чего состоит наука о данных
• От медицины до IT. Где востребована Data Science 
• Узнайте больше о дата сайнс. Полезные ресурсы от редакции Skillbox.kz

Что такое Data Science

Дословно дата сайнс переводится как наука о данных, а все естественные науки опираются на сбор, хранение и анализ информации с последующими выводами и систематизацией. На их основании позже строят прогнозы и формулируют гипотезы. Именно это и есть результат работы Data Scientist.

Сегодня таким профессионалам приходится работать с огромным объемом данных, известными как Big Data (большие данные). К примеру, чтобы узнать, сколько человек захотят купить автомобиль стоимостью около 10 миллионов тенге в первой декаде будущего года, специалисту нужно будет проанализировать огромный поток информации. Для этого он использует разные инструменты, начиная от машинного обучения и заканчивая искусственным интеллектом. 

Наука о данных объединяет в себе несколько классических и новых наук — от математики и статистики до предсказательной аналитики и Big Data. Благодаря этому дата сайентист структурирует данные, составляет математические алгоритмы и представляет прогнозные модели, чтобы принять взвешенное решение.

Из чего состоит наука о данных

Дата сайнс формирует три компонента: сбор и хранение информации, обработка и анализ. Остановимся на каждом из них подробнее. 

Собираем и храним данные

Это первый этап в работе дата сайентист, от которого зависит конечный результат. Для сбора данных специалист использует разные инструменты:

• вовлечения и опросы: бумажные анкеты, телефонные опросы, онлайн-формы, интернет квизы;
• инструменты, которые используют для сбора интернет-статистики: автоматизированные технологии веб-скрейпинга (ред.: получение данных со страниц сайтов), вебвизоры, датчики на сайтах и пр.;
• информацию из учебных, медицинских и социальных организаций;
• базы данных и отчеты разных компаний;
• обратную связь, которая была получена от GPS-устройств, бытовой техники и электроники, работающих по принципу IoT (ред.: интернет вещей). 

И это далеко не все. Чем квалифицированнее специалист, тем больше инструментов и технологий в его арсенале. При этом не менее важно правильно хранить собранную информацию. Для этих целей дата сайентист использует:

• Data Warehouse. Это специальные системы управления базами данных. Информация приходит из разных источников, ее фильтруют и структурируют с помощью таких программ. Наиболее популярные: Vertica, ClickHouse, Greenplum, Exasol, Teradata.
• Data Lake. Это хранилище для несортированных данных без какого-либо порядка. Там может храниться все что угодно — от документов Word до выгрузок из CRM-систем.

Обрабатываем данные

Перед этапом анализа данных важно привести информацию в надлежащий вид. И на этапе обработки Data Scientist предстоит решать немало задач — от объединения таблиц до оптимизации датафрейма (ред.: таблицы). Для этого специалист может:

• Удалять повторы. Порой данные могут совпадать, и повторы необходимы удалять.
• Устранять противоречия. К примеру, арендовать авто в разных местах можно по разной стоимости. Удаление всех значений — это не всегда правильное решение. И порой приходится оставлять один из вариантов или объединять несколько.
• Избавлять от шума. Data Scientist убирает параметры и значений, которые не являются системными и значимыми. 
• Исключать выбросы. Удалять показатели, которые могли быть вызваны ошибкой ввода или случайными факторами.
• Заполнять пропущенные значения. Если специалист обнаружил, что каких-то данных не хватает, он их добавляет. 
• Нормализовать. Data Scientist приводит параметры начальных данных к заданному диапазону. 

Анализируем данные

После обработки данных Data Scientist преобразовывает их в необходимый формат, анализирует и строит прогнозные модели. В процессе Data Mining (ред.: анализа) информация проходит финальную сортировку. Для этого специалист в области дата сайнс использует различные показатели:

• Стандартное отклонение. Этот показатель отражает величину колебания и разброса значений. Чем ниже показатель, тем ближе усредненный набор значений.
• Медиана. Помогает разделять верхнюю часть выборки от нижней. В отличие от среднего значения этот показатель обладает меньшей зависимостью от пиковых показателей в верхних и нижних границах, что помогает эффективнее представлять центр.
• Корреляция. Это взаимная статистическая связь нескольких случайных величин, при которой изменение значений показателей у одних величин вызывают изменения в других. 

Кроме того, на этом этапе специалист должен представить результаты своей работы. Графики, диаграммы, таблицы и схемы помогают улучшить восприятие информации. И в этом Data Scientist помогают такие инструменты, как Google диаграммы, Tableau, Qlik, Power BI, Fusion Charts, Juicebox. 

От медицины до IT. Где востребована Data Science

Давайте разберем несколько примеров сфер, где используют дата сайнс:

• Бизнес. Big Data позволяют делать бизнес-анализ и маркетинговые исследования более качественными. Благодаря анализу можно прогнозировать появление новых продуктов на рынке и открытие новых направлений.
• Финансовая сфера. Data Scientist создает алгоритмы, которые позволяют принять решение по выдаче кредитов.
• Метеорологические службы. Прогнозы погоды основываются на обработке большого количества многовекторных данных.
• Медицина. В эту сферу все активнее внедряют технологии, которые помогают автоматически ставить диагнозы пациентам. И это заслуга анализа Big Data с использованием технологий машинного обучения и искусственного интеллекта.
• IT-сфера. Науку о данных используют для создания нейросетей, чат-ботов и алгоритмов поисковых машин и пр. 
• Сельское хозяйство. Для прогнозирования урожайности.
• Логистика. Для оптимизации маршрутов и расчета рентабельности.

Узнайте больше о Data Science. Полезные ресурсы от редакции Skillbox.kz

Data Scientist — профессия, которая требует знаний программирования, определенных технических навыков и аналитических способностей. Специалистам нужно уметь работать с базами данных, владеть навыками программирования на Python и SQL, уметь использовать в своей работе такие инструменты, как Hadoop и Apache. Кроме того, в профессии важен хороший уровень технического английского. Это позволит получать знания из надежных англоязычных первоисточников.

Перспектив у этой профессии немало — важность работы с Big Data сегодня понимает даже небольшой бизнес. Data Scientist создает порядок из хаоса, превращая беспорядочные данные в полезную информацию и точные прогнозы. Именно благодаря этим специалистам компании получают более точную картину о рынке и продуктах.

Если вы захотите поближе познакомиться с профессией, редакция Skillbox.kz собрала для вас ресурсы, которые будут полезны даже профессионалам в сфере дата сайнс. 

Литература: 

• Брюс Эндрю, Брюс Питер «Практическая статистика для специалистов Data Science» — для опытных специалистов с навыками программирования.
• Дж. Грас «Data Science. Наука о данных с нуля» — руководство для новичков в Data Science, здесь вы найдете основы Python, матанализа и статистики.
• Кеннеди Берман «Основы Python для Data Science» — пособие для изучения языка программирования Python, который играет ключевую роль в сфере Data Science.

Telegram-каналы:

• Data Science by ODS.ai — telegram-канал участников сообщества Open Data Science. Здесь обсуждают нейронные сети, компьютерное зрение, обработку речи, ботов и пр.
• Data science | Machinelearning — русскоязычный telegram-канал, посвященный искусственному интеллекту, Data Science и машинному обучению. Здесь публикуются кейсы, обучающие материалы и статистика отрасли.
• Data Science Notes — telegram-канал на русском языке, где можно найти публикации и книги по Data Science.