Функция сигмоидной кросс-энтропии TensorFlow

TensorFlow — это платформа машинного обучения с открытым исходным кодом, используемая для разработки моделей. При разработке моделей мы используем множество функций для проверки точности и потерь модели. Чтобы модель была в хорошем состоянии, расчет убытков является обязательным, поскольку убыток действует как штраф. Чем ниже потери, тем лучше будет работать модель.

Существует много видов функций потерь. Одной из таких функций является сигмовидная кросс-энтропийная функция TensorFlow. Сигмовидная функция или логистическая функция — это функция, которая генерирует S-образную кривую. Эта функция используется для прогнозирования вероятностей, поэтому диапазон этой функции лежит между 0 и 1.

Перекрестная потеря энтропии — это разница между фактическим и ожидаемым выходом. Это также известно как функция потери журнала и является одним из наиболее ценных методов в области машинного обучения.

sigmoid_cross_entropy_with_logits

Это функция Tensorflow версии 2, которая используется для мягких двоичных меток. Мягкая метка — это та, которая имеет меру вероятности. Эту функцию также можно использовать для жестких меток. Он измеряет вероятность ошибки в задачах, которые имеют два результата.

Выход:

[ -0.68673825   0.12692802  -5.9514127  -11.98185    -28.858236  ]

Мы также можем вычислить сигмовидную кросс-энтропийную потерю между двумя четырехмерными тензорами, используя функцию sigmoid_cross_entropy_with_logits() .

Выход:

[[[[ 1.2340219e-04]
   [-7.9996648e+00]]
   
  [[-1.3999088e+01]
   [-1.4993284e+01]]]]

Сигмовидная перекрестная энтропия

Это функция, поддерживаемая Tensorflow версии 2, которая тесно интегрирована с Keras. Он в основном вычисляет потери между фактическим выходом и прогнозируемым выходом. Эту функцию можно использовать для бинарных результатов. Синтаксис

Предположим, есть два тензора y_pred и y_true . Формула потерь рассчитывается как

loss = -(y_true log(sigmoid(y_pred)) + (1 - y_true) log(1 - sigmoid(y_pred)))

Однако эта функция не поддерживается ни в одной из версий Tensorflow в Python.

Выход:

0.74524397

В приведенном выше коде логиты в основном представляют собой входной тензор, а y_true — это метка мультикласса. Затем вызывается функция потерь, которая вычисляет потери. Поскольку вывод также является тензором, он преобразуется в тензор.

Сравнение трех сигмовидных кросс-энтропийных функций

Теперь, когда мы видели несколько версий кросс-энтропийной функции, иногда становится сложно вспомнить, какая функция подходит для какой задачи. Итак, давайте попробуем обобщить это в табличном формате.