perceptron でいーじゃん←結論

duality のおべんきょー structured prediction + duality やたー＼(^o^)／とかちつくちてのけいたいそかいせきできたよー 何かこんな感じでよろしく＞俺

いい加減「duality が分かりません」ではすまなくなってきた希ガス．

quadratic problem なんてこの世から消えてなくなっちゃえー(^o^)

えーっと……500万行×500万列な double の行列って空間計算量いくら？200TB？ . ｨ .._ .......､._ _ ／:/l! :~""''.>ﾞ' "~ ,､､''‐'､| _ ﾞ､'､::::::ﾉ:::::::_,.-=. _〜:、 ／_.}'':, ``､/:::::::::__....,._ `ﾞ'Y' _.ｪ-､....._ ／_ﾞ''iﾞﾉ､ﾉ ,.--l‐''"~..-_'.x-=…

今日のまとめ（またしてもお昼にまとめちゃってる！）． EM 回らなければ変分 bayes どぉ？（またしても bayes ちゃん登場かっ！！） 『プラネテス』の単行本全巻置いてて『ヴィンランド・サガ』置いてないのは人類の大いなる損失 『でじぱら』の扉絵はなん…

昨日のまとめ（そもそもおまいは昨日を何をやっていたのか？という疑問はさておいて）． the long tail 云々 the long tail 云々は必ずしも素晴らしい状況だけを生み出しているわけではなくって，結局あらゆる分野に大衆迎合的な価値観を爆発的に普及させて…

タヨウタイがね，こうね，ぶぁーって． あはははは．あはは．あははは．

アタッテ クダケタ

しかしこの「なかなか脱出できない」という事実こそがむしろ最重要ポイント．なんじゃそりゃ．

う〜ん．数値的に非常に性質の悪い最適化問題を扱わないといけなくなった． ある点の近傍において，目標関数（最小化の対象の関数）の値が 10^5 程度でその微分係数ベクトルの norm が 1.0e-8 程度という最適化問題．仮にこれが極値付近の領域の話ならばどう…

情報幾何学を真面目に勉強しておけばよかったと後悔している今日この頃，皆様いかがお過ごしでしょうか？ ということで初っ端からいきなり情報幾何学の総本山に突撃っ！当たって砕けろっ！

bayes がなんで好きになれないか考えてみたら，どうも bayes との最初の出会いがまずかった希ガス．なんかこう一番初めの印象が 「それ，結局 maximum likelihood の overfitting の問題が model selection の問題に摩り替わっただけで，問題としてまた別の…

くみあわせさいてきかもんだい が あらわれた ！

あぁ！？ これ objective が convex じゃねーじゃんかーっ！！！あぁ，もう，氏ね死ね市ね．＞俺

うぅ〜むむむん．自分は今まで生粋の frequentist のつもり (対数尤度が最大化されればそれで良いんですよ，ぷっぷくぷー) だったけれど MAP とか真剣に考え出しているうちに，確率分布のパラメタがだんだんとこうぼやぁ〜っとぼやけて見えるようになってき…

ευρηκα！ευρηκα！

そうか，そういうことかリリン！！謎は全て解けたっ！！犯人はお前だっ！！

The problem might be solved.

上のアイデアは発見後10時間でダメさ加減が判明．ふはははは〜．

forward iteration しか回さない Forward-Backward (Baum-Welch) という革新的な方法っ！！ むしゃくしゃしてやった．革新的ならなんでも良かった．今も反省していない．

うがー！もうなんか1日中ノートとホワイトボードの上に計算式書きまくってる気がするぞっ！？早くコーディングしてー！早くコーディングしてー！これがうまくいけば世界を革命する力ががががが．

stochastic descent って使えるんかいなーとか思っていたんだけれど，思いっきり CRF で使われていたという事実！ この Stochastic Meta-Descent でキモと思われる Hessian とベクトルの積の計算を，微分関数の自動微分法 (forward accumulation) で implici…

思いついた瞬間は「大発見ｗｗｗﾃﾗｽｺﾞｽｗｗｗ」とか興奮してたんだけれど，振り返って発想を整理してみると案外大したことでもなかった，ってゆ〜．まー，研究なんてそんなもんか． 理論的には完璧に見通しが立ったけれど実験含めて26日までに間に合うかな？…

http://www.cs.cmu.edu/~quake-papers/painless-conjugate-gradient.pdf すげぇｗｗｗ． CG について説明しているのに CG のアルゴリズムの表式がちゃんと出てくるのが30ページ目ｗｗｗ．自分が知りたい non-linear な場合にいたっては42ページ目．つか， CG…

高次元でのclusteringのために異なるrandom projectionを複数回行って，それでやりましょうという話．instance同士の近似度を測るためにいったんclusteringしているのが不思議というか，その必要性が見えてこなかった．

ラグランジュ乗数法 & 双対問題の講義．ラグランジュ乗数法はともかくも，双対問題については自分が全くの不勉強であったことを強く身にしみて感じる．説明を聴いていてもなんとなくな理解で終わってしまっている気がする．一度，ちゃんとした本を読んで確実…

頼んでいた『Numerical Optimization』（asin:0387987932）がやって来た．早速，図書係のK口君からひったくって私有物にしてしまう．いっしっし．