line search (step length selection) 重要

最急降下法だろうが共役勾配法だろうが,勾配法の心臓部は結局 line search (step length selection) ,特に初期の step length の設定だよにぇ,ってゆ〜.ニュートン法 (準ニュートン法) なら step length の初期値をちょーてきとーに決めても最適化のシステム自体が勝手に step length を調整していく性質 (well-scaled) があるんだけどにゃー.
line search (step length) について Nocedal 氏の本より詳しく書いてあるのってあるのかにゃー.
#おぉ!?非常に興味をそそられる本発見っ!……ってこれ第2版じゃんっ!