Жизненный цикл науки о данных
Жизненный цикл науки о данных вращается вокруг использования машинного обучения и различных аналитических стратегий для получения аналитических данных и прогнозов на основе информации для достижения коммерческой цели предприятия. Полный метод включает в себя ряд шагов, таких как очистка данных, подготовка, моделирование, оценка модели и т. Д. Это длительная процедура, которая может занять несколько месяцев. Таким образом, очень важно иметь общую структуру, на которую можно будет обратить внимание при каждой возникающей проблеме. Глобально упомянутая структура для решения любой аналитической проблемы называется межотраслевым стандартным процессом интеллектуального анализа данных или структурой CRISP-DM.
Давайте разберемся, в чем необходимость Data Science?
Раньше данных было гораздо меньше, и они обычно были доступны в хорошо структурированной форме, которые мы могли легко и легко сохранять в таблицах Excel, а с помощью инструментов бизнес-аналитики данные можно было эффективно обрабатывать. Но сегодня мы имели дело с большими объемами данных, например, около 3,0 центнеров байт записей, производимых каждый день, что в конечном итоге приводит к взрывному росту количества записей и данных. Согласно последним исследованиям, 1,9 МБ данных и записей создаются за секунду, что тоже через одного человека.
Поэтому для любой организации очень сложно иметь дело с таким огромным объемом данных, генерируемых каждую секунду. Для обработки и оценки этих данных нам потребовались очень мощные, сложные алгоритмы и технологии, и именно здесь наука о данных вступает в игру.
Ниже приведены некоторые основные мотивы использования технологий обработки и анализа данных:
- Это помогает преобразовать большое количество необработанных и неструктурированных записей в важные идеи.
- Это может помочь в уникальных прогнозах, таких как ряд опросов, выборов и т. Д.
- Это также помогает автоматизировать транспортировку, например, выращивать беспилотный автомобиль, мы можем сказать, что является будущим транспорта.
- Компании переходят в сторону науки о данных и выбирают эту технологию. Amazon, Netflix и т. Д., Которые справляются с большим объемом данных, используют алгоритмы информатики для повышения качества обслуживания потребителей.
Жизненный цикл науки о данных
1. Деловое понимание: полный цикл вращается вокруг цели предприятия. Что вы решите, если у вас больше не будет конкретной проблемы? Чрезвычайно важно искренне понять цель коммерческого предприятия, поскольку это и будет вашей конечной целью анализа. Только после желаемого восприятия мы можем установить точную цель оценки, которая синхронизируется с целью предприятия. Вы должны понимать, желает ли клиент минимизировать потерю сбережений, или он предпочитает прогнозировать курс товара и т. Д.
2. Понимание данных: после понимания предприятия следующим шагом является понимание данных. Это включает серию всех доступных данных. Здесь вам необходимо целенаправленно работать с группой коммерческих предприятий, поскольку они, безусловно, осознают, какая информация присутствует, какие факты следует использовать для решения этой проблемы коммерческого предприятия и другую информацию. Этот шаг включает в себя описание данных, их структуру, актуальность, тип их записей. Изучите информацию с помощью графических графиков. По сути, извлечение любых данных, которые вы можете получить об информации, просто исследуя данные.
3. Подготовка данных. Далее следует этап подготовки данных. Это состоит из таких шагов, как выбор применимых данных, интеграция данных посредством объединения наборов данных, их очистка, обработка недостающих значений путем их удаления или вменения, обработка неточных данных путем их устранения, дополнительная проверка на выбросы использования коробчатые участки и справиться с ними. Создавая новые данные, извлекайте новые элементы из существующих. Отформатируйте данные в предпочтительную структуру, исключите нежелательные столбцы и функции. Подготовка данных - самый трудоемкий, но, возможно, самый важный шаг в полном жизненном цикле. Ваша модель будет такой же точной, как и ваши данные.
4. Исследовательский анализ данных: этот шаг включает в себя получение некоторого представления об ответе и влияющих на него элементах до построения реальной модели. Распределение данных внутри отличительных переменных персонажа изучается графически с использованием гистограмм. Отношения между отдельными аспектами фиксируются с помощью графических представлений, таких как диаграммы разброса и карты теплоты. Многие стратегии визуализации данных широко используются для обнаружения каждой характеристики в отдельности и путем комбинирования их с различными функциями.
5. Моделирование данных. Моделирование данных - это центральная часть анализа данных. Модель принимает организованные данные в качестве входных данных и дает предпочтительный результат. Этот шаг состоит из выбора подходящего типа модели, независимо от того, является ли проблема проблемой классификации, проблемой регрессии или проблемой кластеризации. После принятия решения о семействе моделей среди числа алгоритмов в этом семействе нам нужно осторожно выбрать алгоритмы, которые нужно реализовать, и обеспечить их соблюдение. Нам нужно настроить гиперпараметры каждой модели, чтобы получить желаемую производительность. Мы также должны убедиться, что существует правильная стабильность между общей производительностью и универсальностью. Мы больше не хотим, чтобы модель изучала данные и плохо работала с новыми данными.
6. Оценка модели: здесь модель оценивается для проверки того, подготовлена ли она для развертывания. Модель исследуется на невидимых данных, оценивается на основе тщательно продуманного набора оценочных метрик. Дополнительно нужно убедиться, что модель соответствует действительности. Если мы не получим качественный конечный результат при оценке, мы должны повторить всю процедуру моделирования до тех пор, пока не будет достигнут желаемый этап показателей. Любое решение для науки о данных, модель машинного обучения, как и человек, должно развиваться, должно быть способно расширяться за счет новых данных, адаптироваться к новой метрике оценки. Мы можем построить более одной модели для определенного явления, однако многие из них могут быть еще несовершенными. Оценка модели помогает нам выбрать и построить идеальную модель.
7. Развертывание модели. После тщательной оценки модель в конце развертывается в предпочтительной структуре и канале. Это последний шаг в жизненном цикле науки о данных. Каждый этап жизненного цикла науки о данных, описанный выше, требует тщательной работы. Если какой-либо шаг выполняется неправильно и, следовательно, оказывает влияние на последующий шаг, все усилия теряются. Например, если данные больше не накапливаются должным образом, вы потеряете записи и больше не сможете строить идеальную модель. Если информация не будет очищена должным образом, модель больше не будет работать. Если модель не оценена должным образом, она потерпит неудачу в реальном мире. Начиная с бизнес-восприятия и заканчивая развертыванием модели, каждому этапу необходимо уделять соответствующее внимание, время и усилия.