クロスエントロピーってなぁに

08 Dec, 2025

Neural Networks and Deep Learningで出てきた

「本当に 1 のデータは、1 に近い予測をしてほしい」

「本当に 0 のデータは、0 に近い予測をしてほしい」

という気持ちを数学的にキレイに表現したもの

式はこう $L(\hat{y},y)=-[ylog(\hat{y})+(1-y)log(1-\hat{y})]$

yの上の三角帽子は「ハット」といって、「予測」を表す

y=1のときは、$L=-log(\hat{y})$

$L=-log(\hat{y})$ は$\hat{y}$が1に近いほど小さくなって、1から遠ざかると大きくなる

グラフ

y=0のときは、$L=-log(1-\hat{y})$

$L=-log(1-\hat{y})$ は$\hat{y}$が0に近いほど小さくなって、0から遠ざかると大きくなる

グラフ

クロスエントロピーは実際の値と予測のずれを図る関数（ロス関数）の一種で、

分類モデルの学習に使われるよぃ

#math