いい加減「duality が分かりません」ではすまなくなってきた希ガス．

optimization を optimization (programming) でやろうって話はあるんだろーか？ (ambiguous な単語を使って字面上わざと混乱させてる，の図) っていうかどう考えてもある気がする．専門じゃないから詳しく知らんけど．

quadratic problem なんてこの世から消えてなくなっちゃえー(^o^)

へっしあ〜ん．

う〜ん．数値的に非常に性質の悪い最適化問題を扱わないといけなくなった． ある点の近傍において，目標関数（最小化の対象の関数）の値が 10^5 程度でその微分係数ベクトルの norm が 1.0e-8 程度という最適化問題．仮にこれが極値付近の領域の話ならばどう…

stochastic descent って使えるんかいなーとか思っていたんだけれど，思いっきり CRF で使われていたという事実！ この Stochastic Meta-Descent でキモと思われる Hessian とベクトルの積の計算を，微分関数の自動微分法 (forward accumulation) で implici…

最急降下法だろうが共役勾配法だろうが，勾配法の心臓部は結局 line search (step length selection) ，特に初期の step length の設定だよにぇ，ってゆ〜．ニュートン法 (準ニュートン法) なら step length の初期値をちょーてきとーに決めても最適化のシス…

http://www.cs.cmu.edu/~quake-papers/painless-conjugate-gradient.pdf すげぇｗｗｗ． CG について説明しているのに CG のアルゴリズムの表式がちゃんと出てくるのが30ページ目ｗｗｗ．自分が知りたい non-linear な場合にいたっては42ページ目．つか， CG…