偏微分ってなぁに
😃 偏微分ってなに?
🐹 偏微分っていうのはね
🐹 「いろんな変数がある関数の中で、ひとつの変数だけをちょっと動かしたときの変化の度合い」を調べる方法なんだよ
例えば、2変数関数
があるとするよ。
に注目した偏微分 なら、をただの定数だと思って微分する。
に注目した偏微分なら、を定数扱いして微分する。
🐹「他の変数は動かさないで、この変数だけちょっと動かしたら関数がどう変わる?」を調べるイメージ
😃 ほうほう
😃 漢字が怖かったけど、思ってたより簡単そう
😃 微分って要するに、次元を一個落とすんだよね
🐹 そうそう
をで偏微分すると、つまり「傾き」という 1次元の情報になる。
をで偏微分すると「x方向の傾き」、つまり1次元の関数になる。
🐹 つまり、もともと多次元の情報を「一方向に射影して、その方向の変化率だけ取り出す」ってことなんだよ
😃 AI周りだとどんなときに使うの?
🐹 損失関数(loss function)の勾配を計算するときに使うね
🐹「この重みをちょっと動かしたら、損失がどれだけ増減する?」
🐹 を計算するのに使うんだ
😃 1Bのモデルだと、学習のたびに1B回偏微分するの?
🐹 うん、概念的にはね
🐹 実際は便利なツールを使って計算量が省略できるけどね
😃 なるほど
😃 なんかイメージつかめてきたかも!