Наука о данных против машинного обучения

В 21 веке два термина « наука о данных » и « машинное обучение » являются одними из самых популярных запросов в мире технологий. От студентов первого курса компьютерных наук до крупных организаций, таких как Netflix, Amazon и т. д., используют эти две технологии. И они тоже нашли причину. В мире пространства данных наступила эра больших данных , когда организации имеют дело с петабайтами и эксабайтами данных. До 2010 года для отраслей стало очень сложно хранить данные. Теперь, когда популярные фреймворки, такие как Hadoop и другие, решили проблему хранения, основное внимание уделяется обработке данных. И здесь большую роль играют Data Science и Machine Learning. Но сколько данных составляют большие данные?

• Google обрабатывает 20 петабайт (ПБ) в день (2008 г.)
• Facebook имеет 2,5 ПБ пользовательских данных + 15 ТБ в день (2009 г.)
• eBay имеет 6,5 ПБ пользовательских данных + 50 ТБ в день (2009 г.)
• Большой адронный коллайдер ЦЕРН (LHC) генерирует 15 ПБ в год

Но вообще чем отличаются эти два термина? Каковы большие различия между этими двумя методами? Итак, давайте устраним путаницу с помощью простой диаграммы Венна, которая очень популярна и известна как диаграмма Венна Дрю Конвея . Перед этим давайте посмотрим на определение этих двух терминов.

Наука о данных

Это комплексное исследование больших объемов данных в репозитории компании или организации. Это исследование включает в себя происхождение данных, фактическое изучение их содержания и то, как эти данные могут быть полезны для роста компании в будущем. Данные, относящиеся к организации, всегда представлены в двух формах: структурированные и неструктурированные . Когда мы изучаем эти данные, мы получаем ценную информацию о моделях бизнеса или рынка, которая помогает бизнесу иметь преимущество перед другими конкурентами, поскольку они повысили свою эффективность, распознав модели в наборе данных.

Специалисты по данным — это специалисты, которые преуспевают в преобразовании необработанных данных в важные для бизнеса вопросы. Эти ученые владеют алгоритмическим кодированием, а также такими понятиями, как интеллектуальный анализ данных, машинное обучение и статистика. Наука о данных широко используется такими компаниями, как Amazon, Netflix, сектором здравоохранения, обнаружения мошенничества, поиском в Интернете, авиакомпаниями и т. д.

Машинное обучение

Машинное обучение — это область исследования, которая дает компьютерам возможность учиться без явного программирования. Машинное обучение применяется с использованием алгоритмов для обработки данных и обучения для предоставления прогнозов на будущее без вмешательства человека. Входными данными для машинного обучения являются набор инструкций, данных или наблюдений. Машинное обучение широко используется такими компаниями, как Facebook, Google и т. д.

Что отличает эти две техники?

Ниже представлена диаграмма Венна Дрю Конвея . Давайте посмотрим на диаграмму Венна.

Вы можете увидеть два термина «Наука о данных» и «Машинное обучение» на приведенной выше диаграмме Венна. Итак, давайте разберемся со схемой. В диаграмме Венна науки о данных Дрю Конвея основные цвета данных

• Хакерские навыки,
• Знание математики и статистики,
• Основная экспертиза

Но вопрос в том, почему он выделил именно эти три? Итак, давайте разберемся, почему!!

Навыки взлома: всем известно, что данные являются ключевой частью науки о данных. А данные — это товар, которым торгуют в электронном виде; Итак, чтобы быть на этом рынке, « нужно говорить по-хакерски» . Так что же означает эта строка? Умение управлять текстовыми файлами из командной строки, изучение векторных операций, алгоритмическое мышление; являются хакерские навыки , которые делают для успешного хакера данных .

Знание математики и статистики. После того, как вы собрали и очистили данные, следующим шагом будет получение от них понимания. Для этого вам необходимо использовать соответствующие математические и статистические методы , которые требуют хотя бы базового знакомства с этими инструментами. Это не означает, что доктор философии. в статистике требуется быть опытным специалистом по данным, но для этого нужно понимать, что такое обычная регрессия наименьших квадратов и как ее объяснить.

Основная экспертиза: Третьей важной частью является основная экспертиза. И здесь наша путаница стирается. Да!!

According to Drew Conway, “Data plus Math and Statistics Knowledge only gets you Machine Learning”, which is excellent if that is what you are interested in, but not if you are doing Data Science. Science is about experimentation and building knowledge, which demands some motivating questions about the world and hypotheses that can be brought to data and tested with statistical methods. 

И в этом главное отличие этих двух терминов. Если вы хотите стать специалистом по данным, вы должны иметь знания в этой предметной области. Но почему? Главной целью науки о данных является извлечение полезной информации из этих данных, чтобы они могли приносить прибыль бизнесу компании. Если вы не знаете о бизнес-стороне компании, о том, как работает бизнес-модель компании и как вы не можете построить ее лучше, то вы бесполезны для этой компании. Вам нужно знать, как задавать правильные вопросы нужным людям, чтобы вы могли воспринимать соответствующую информацию, необходимую для получения нужной информации. Ниже приведена полная таблица различий между наукой о данных и машинным обучением.

Таблица различий