Концептуальная основа для решения проблем анализа данных
Наука о данных - это междисциплинарная область, которая фокусируется на извлечении знаний из наборов данных, которые обычно огромны. Эта область включает анализ, подготовку данных для анализа и представление результатов для принятия решений на высоком уровне в организации. Таким образом, он включает в себя навыки из информатики, математики, статики, визуализации информации, графики и бизнеса.
В настоящее время во многих случаях, когда речь идет о проблемах анализа данных, обычно начинают с очень нечетко определенной проблемы, например, можно сказать, что в типичном промышленном сценарии возникает ощущение, что вокруг много данных и Кажется, каждый считает, что нужно уметь использовать такие большие данные, чтобы принести пользу своей организации. Итак, вопрос в том, как он / она это делает?
Обычно люди начинают с того, что данных много, что он / она может сделать с этими данными? Можно просто сказать, что он хочет улучшить производительность или минимизировать проблемы с обслуживанием и так далее. Итак, можно начать говорить о классе проблем, которые могут быть связаны либо с производительностью, либо с улучшением операций, выполняющих работу вовремя, и так далее. Итак, обычно человек начинает с нечеткого набора слов, расплывчатого определения проблемы и данных, которые у него есть. Теперь вопрос в том, чтобы затем направить свой мыслительный процесс к чему-то, что можно кодировать, к чему-то, что можно обработать данные, чтобы получить ценность для решения любой проблемы, которую он / она решает, и так далее. Хотя в настоящее время это в некоторой степени неструктурированный процесс, хорошие специалисты по данным предлагают поток решений, который имеет смысл и имеет отношение к проблеме, которую необходимо решить.
- Постановка проблемы: Прежде всего, возникает проблема с множеством очень расплывчатых формулировок проблемы. Итак, шаг 1 состоит в том, чтобы преобразовать это в одну постановку проблемы или набор формулировок проблемы как можно точнее, а затем для решения этой проблемы следует сделать то, что известно как характеристика проблемы / концептуализация проблемы.
- Концептуализация проблемы: Итак, каждый разбивает эту высокоуровневую постановку проблемы на подзадачи и как бы рисует поточный процесс, говорящий, что если он решит эту подзадачу, то этот результат он будет использовать в этой подзадаче и так далее. Таким образом, можно думать об этом как о блок-схеме, которую он рисует с этими подзадачами, и в целом, если возможно, он достигает уровня детализации, где он может определить класс проблемы, в которой подзадачи принадлежат либо к задаче аппроксимации функции, либо к задаче классификации. Таким образом, можно идентифицировать эти проблемы либо как проблемы приближения функций, либо как проблемы классификации.
- Концептуализация решения: Итак, здесь мы рассматриваем концептуализацию решения. Здесь снова приходится делать предположения. Итак, можно сделать предположения о распределениях о линейности и нелинейности, типе нелинейности и так далее. А вот если бы можно было нарисовать блок-схему и иметь в голове несколько картинок, то решить эту задачу становится легче.
- Идентификация метода: Затем, как только кто-то концептуализирует решение, то для каждой из этих подмоделей наши подмодули должны идентифицировать метод, и идентификация метода должна быть продиктована предположениями, которые он сделал ранее. Нужно посмотреть на допущения и выбрать правильный метод решения, и если окажется, что из сделанных им допущений ему не нравится какой-либо метод, который существует, тогда он немного подправит существующие алгоритмы. bit, а затем найдите метод, который будет полезен или подойдет для его проблемы.
- Реализация решения: как только человек это делает, он актуализирует решение в некоторой программной среде по выбору, затем он получает решение и оценивает, верны ли предположения, удовлетворяет ли решение его требованиям, и если да, то он готов или если он не должен возвращаться и пересматривать свои предположения, а затем смотреть, как он меняет или модифицирует свои предположения, чтобы получить решение, которое ему удобно.