Типы методов регрессии

Опубликовано: 25 Июля, 2021

Когда выбирается регрессия?
Проблема регрессии возникает, когда выходная переменная представляет собой реальное или непрерывное значение, такое как «зарплата» или «вес». Можно использовать много разных моделей, простейшей из них является линейная регрессия. Он пытается сопоставить данные с лучшей гиперплоскостью, проходящей через точки.

Регрессионный анализ - это статистический процесс для оценки отношений между зависимыми переменными или критериальными переменными и одной или несколькими независимыми переменными или предикторами. Регрессионный анализ объясняет изменения критериев по отношению к изменениям в выбранных предикторах. Условное ожидание критериев, основанных на предикторах, где среднее значение зависимых переменных задается при изменении независимых переменных. Три основных применения регрессионного анализа - это определение силы предикторов, прогнозирование эффекта и прогнозирование тенденций.

Типы регрессии -

  • Линейная регрессия
  • Логистическая регрессия
  • Полиномиальная регрессия
  • Пошаговая регрессия
  • Пошаговая регрессия
  • Регрессия хребта
  • Регрессия лассо
  • Регрессия ElasticNet

Линейная регрессия используется для прогнозного анализа. Линейная регрессия - это линейный подход к моделированию взаимосвязи между критерием или скалярным ответом и несколькими предикторами или независимыми переменными. Линейная регрессия фокусируется на условном распределении вероятностей ответа с учетом значений предикторов. Для линейной регрессии существует опасность переобучения. Формула линейной регрессии: Y '= bX + A.

Логистическая регрессия используется, когда зависимая переменная является дихотомической. Логистическая регрессия оценивает параметры логистической модели и является формой биномиальной регрессии. Логистическая регрессия используется для работы с данными, которые имеют два возможных критерия и взаимосвязь между критериями и предикторами. Уравнение логистической регрессии: l = .

Для криволинейных данных используется полиномиальная регрессия. Полиномиальная регрессия соответствует методу наименьших квадратов. Цель регрессионного анализа - смоделировать ожидаемое значение зависимой переменной y по отношению к независимой переменной x. Уравнение полиномиальной регрессии: l = .

Пошаговая регрессия используется для подгонки регрессионных моделей к прогнозным моделям. Выполняется автоматически. На каждом шаге переменная добавляется или вычитается из набора независимых переменных. Подходами к пошаговой регрессии являются прямой отбор, обратное исключение и двунаправленное исключение. Формула пошаговой регрессии: .

Риджерная регрессия - это метод анализа данных множественной регрессии. Когда возникает мультиколлинеарность, оценки методом наименьших квадратов несмещены. К оценкам регрессии добавляется степень смещения, и в результате гребенчатая регрессия снижает стандартные ошибки. Формула регрессии гребня: .

Лассо-регрессия - это метод регрессионного анализа, который выполняет как выбор переменных, так и регуляризацию. В регрессии лассо используется мягкое пороговое значение. Регрессия лассо выбирает только подмножество предоставленных ковариат для использования в окончательной модели. Регрессия лассо .

Регрессия ElasticNet - это метод регуляризованной регрессии, который линейно сочетает в себе недостатки методов лассо и гребня. Регрессия ElasticNet используется для поддержки векторных машин, обучения метрикам и оптимизации портфеля. Штрафная функция определяется по формуле: .

Ниже представлена простая реализация:




# importing libraries
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
x = 11 * np.random.random(( 10 , 1 ))
# y = a * x + b
y = 1.0 * x + 3.0
# create a linear regression model
model = LinearRegression()
model.fit(x, y)
# predict y from the data where the x is predicted from the x
x_pred = np.linspace( 0 , 11 , 100 )
y_pred = model.predict(x_pred[:, np.newaxis])
# plot the results
plt.figure(figsize = ( 3 , 5 ))
ax = plt.axes()
ax.scatter(x, y)
ax.plot(x_pred, y_pred)
ax.set_xlabel( 'predictors' )
ax.set_ylabel( 'criterion' )
ax.axis( 'tight' )
plt.show()

Выход:

Внимание компьютерщик! Укрепите свои основы с помощью базового курса программирования Python и изучите основы.

Для начала подготовьтесь к собеседованию. Расширьте свои концепции структур данных с помощью курса Python DS. А чтобы начать свое путешествие по машинному обучению, присоединяйтесь к курсу Машинное обучение - базовый уровень.