Древо решений

Опубликовано: 26 Июля, 2021

Дерево решений: Дерево решений - самый мощный и популярный инструмент для классификации и прогнозирования. Дерево решений - это блок-схема, подобная древовидной структуре, где каждый внутренний узел обозначает проверку атрибута, каждая ветвь представляет результат проверки, а каждый конечный узел (конечный узел) содержит метку класса.

Дерево решений для концепции PlayTennis.

Построение дерева решений:
Дерево можно «изучить» , разделив исходный набор на подмножества на основе теста значения атрибута. Этот процесс повторяется для каждого производного подмножества рекурсивным способом, называемым рекурсивным разделением . Рекурсия завершается, когда все подмножество в узле имеет одно и то же значение целевой переменной или когда разделение больше не добавляет значения к предсказаниям. Построение классификатора дерева решений не требует каких-либо знаний в предметной области или настройки параметров и поэтому подходит для исследовательского открытия знаний. Деревья решений могут обрабатывать многомерные данные. В целом классификатор дерева решений имеет хорошую точность. Индукция дерева решений - это типичный индуктивный подход к изучению знаний о классификации.

Представление дерева решений:
Деревья решений классифицируют экземпляры, сортируя их вниз по дереву от корня до некоторого листового узла, что обеспечивает классификацию экземпляра. Экземпляр классифицируется, начиная с корневого узла дерева, проверяя атрибут, заданный этим узлом, затем перемещаясь вниз по ветви дерева, соответствующей значению атрибута, как показано на приведенном выше рисунке. Затем этот процесс повторяется для поддерева. укореняется в новом узле.

Дерево решений на приведенном выше рисунке классифицирует конкретное утро в зависимости от того, подходит ли оно для игры в теннис, и возвращает классификацию, связанную с конкретным листом (в данном случае «Да» или «Нет»).
Например, экземпляр

(Outlook = Rain, Temperature = Hot, Humidity = High, Wind = Strong )

будет отсортирован по крайней левой ветви этого дерева решений и, следовательно, будет классифицирован как отрицательный экземпляр.

Другими словами, мы можем сказать, что дерево решений представляет собой дизъюнкцию соединений ограничений на значения атрибутов экземпляров.

(Outlook = Sunny ^ Humidity = Normal) v (Outllok = Overcast) v (Outlook = Rain ^ Wind = Weak)

Сильные и слабые стороны подхода дерева решений
Сильные стороны методов дерева решений:

  • Деревья решений могут генерировать понятные правила.
  • Деревья решений выполняют классификацию, не требуя больших вычислений.
  • Деревья решений могут обрабатывать как непрерывные, так и категориальные переменные.
  • Деревья решений дают четкое представление о том, какие поля наиболее важны для прогнозирования или классификации.

Слабые стороны методов дерева решений:

  • Деревья решений менее подходят для задач оценки, где цель состоит в том, чтобы предсказать значение непрерывного атрибута.
  • Деревья решений подвержены ошибкам в задачах классификации с большим количеством классов и относительно небольшим количеством обучающих примеров.
  • Дерево решений может быть дорогостоящим в вычислительном отношении для обучения. Процесс выращивания дерева решений требует больших вычислительных ресурсов. На каждом узле каждое поле разделения-кандидата должно быть отсортировано, прежде чем будет найдено его наилучшее разделение. В некоторых алгоритмах используются комбинации полей, и необходимо производить поиск оптимальных весов комбинирования. Алгоритмы сокращения также могут быть дорогостоящими, поскольку необходимо сформировать и сравнить множество поддеревьев-кандидатов.

Рекомендации :
Машинное обучение, Том Митчелл, МакГроу Хилл, 1997.

В следующем посте мы обсудим алгоритм ID3 для построения дерева решений, данный JR Quinlan.

Автор статьи: Салони Гупта . Если вам нравится GeeksforGeeks, и вы хотели бы внести свой вклад, вы также можете написать статью с помощью provide.geeksforgeeks.org или отправить ее по электронной почте на deposit@geeksforgeeks.org. Посмотрите, как ваша статья появляется на главной странице GeeksforGeeks, и помогите другим гикам.

Пожалуйста, напишите комментарии, если вы обнаружите что-то неправильное, или вы хотите поделиться дополнительной информацией по теме, обсужденной выше.