ディープラーニングを支える技術〈2〉 ——ニューラルネットワーク最大の謎 Tech × Books plus

この本について

モデルを大きくすると過学習しやすいはずなのに、実際は逆にうまくいくことが多い。勾配が消えたり、最適解が無数にあったり、そもそも「どこに向かって学習しているのか」がよくわからない。自分でも仕事でモデルを触るたびに、理屈と挙動のズレにモヤモヤしていました。 この本は、その“ズレ”を無理に一言でまとめず、実際の研究でわかってきた断片を丁寧につないでくれます。幅広いネットワークほど学習が安定する理由や、フラットな解が汎化に効くメカニズム、自己回帰モデルや正規化フローの裏側など、コードを書いているだけでは気づかない視点が多いです。特に、勾配降下法が「必要以上の表現力は自然に削る」という説明は、実務で感じていた挙動と腑に落ち方が違いました。表現学習とタスク学習を分けて考える部分も、モデル選択で迷いがちな人ほど助けになると思います。 派手な“解決策”を提示する本ではありませんが、学習がうまくいったとき・いかなかったときの理由を言語化できるようになる感覚があります。モデルの振る舞いを、少しでも自分の中で説明できるようになりたい人に刺さる一冊です。