ML | Локально взвешенная линейная регрессия

Предпосылка: ML | Линейная регрессия

Линейная регрессия - это контролируемый алгоритм обучения, используемый для вычисления линейных отношений между входом (X) и выходом (Y).

Этапы обычной линейной регрессии:

Training phase: Compute to minimize the cost.

Predict output: for given query point ,

Как видно из изображения ниже, этот алгоритм нельзя использовать для прогнозирования, когда существует нелинейная связь между X и Y. В таких случаях используется локально взвешенная линейная регрессия.

Локально взвешенная линейная регрессия:

Локально взвешенная линейная регрессия - это непараметрический алгоритм, то есть модель не изучает фиксированный набор параметров, как это делается в обычной линейной регрессии. Скорее параметры вычисляются индивидуально для каждой точки запроса . При вычислении , большее «предпочтение» отдается точкам обучающей выборки, лежащим в окрестности чем точки, лежащие далеко от .

Модифицированная функция стоимости:

где, неотрицательный «вес», связанный с точкой тренировки .
Для лежит ближе к точке запроса , значение большой, а для лежит далеко от значение маленький.

Типичный выбор является:
где, называется параметром пропускной способности и управляет скоростью, с которой падает с расстоянием от

Очевидно, что если маленький близко к 1 и если большой близко к 0.

Таким образом, установочные точки обучения, расположенные ближе к точке запроса вносить больший вклад в стоимость чем точки, лежащие далеко от .

Например -

Рассмотрим точку запроса = 5.0 и пусть а также - две точки в обучающей выборке, такие что = 4.9 и = 3,0.
Используя формулу с участием = 0,5:



Таким образом, веса падают экспоненциально по мере увеличения расстояния между а также увеличивается, как и вклад ошибки в прогноз для к стоимости.

Следовательно, при вычислении , мы уделяем больше внимания сокращению для точек, расположенных ближе к точке запроса (имеющих большее значение ).

Шаги, связанные с локально взвешенной линейной регрессией:

Compute to minimize the cost.
Predict Output: for given query point ,

Что следует помнить:

• Локально взвешенная линейная регрессия - это алгоритм обучения с учителем.
• Это непараметрический алгоритм.
• Не существует фазы обучения. Вся работа выполняется на этапе тестирования / при составлении прогнозов.