Machine Learning
perceptron でいーじゃん←結論
へっしあ〜ん．
http://www.shinchosha.co.jp/foresight/web_kikaku/u127.html うむむん？元の講演聴いていない（聴く時間が無い）からあれなんだけれど， "romantic science" における "romantic" を，日本語の（普遍的な意味の）『ロマンティック』に摩り替えてしまってい…
今日のまとめ（またしてもお昼にまとめちゃってる！）． EM 回らなければ変分 bayes どぉ？（またしても bayes ちゃん登場かっ！！） 『プラネテス』の単行本全巻置いてて『ヴィンランド・サガ』置いてないのは人類の大いなる損失 『でじぱら』の扉絵はなん…
昨日のまとめ（そもそもおまいは昨日を何をやっていたのか？という疑問はさておいて）． the long tail 云々 the long tail 云々は必ずしも素晴らしい状況だけを生み出しているわけではなくって，結局あらゆる分野に大衆迎合的な価値観を爆発的に普及させて…
時は200X年，次元の呪いという強大な敵を前にし人類は未曾有の危機に瀕していた．その危機を救うべく立ち上がった者たちが彼らである……． 「隊長っ！！新たな分類問題を捕捉しましたっ！！」 「速やかにマージンを最大化．素性選択急げ．」 「目標っ！！線型…
っていうかこのネタ使い回しだけれどｷﾆｼﾅｲ!!元は "fields" だけれど必殺技っぽい語感を重視してあえて field にしてみましたという心憎い配慮． これが SVM とかだとこういうネタいぢりは難しい予感伊予柑イイ予感．
ευρηκα！ευρηκα！
そうか，そういうことかリリン！！謎は全て解けたっ！！犯人はお前だっ！！
The problem might be solved.
forward iteration しか回さない Forward-Backward (Baum-Welch) という革新的な方法っ！！ むしゃくしゃしてやった．革新的ならなんでも良かった．今も反省していない．
stochastic descent って使えるんかいなーとか思っていたんだけれど，思いっきり CRF で使われていたという事実！ この Stochastic Meta-Descent でキモと思われる Hessian とベクトルの積の計算を，微分関数の自動微分法 (forward accumulation) で implici…
思いついた瞬間は「大発見ｗｗｗﾃﾗｽｺﾞｽｗｗｗ」とか興奮してたんだけれど，振り返って発想を整理してみると案外大したことでもなかった，ってゆ〜．まー，研究なんてそんなもんか． 理論的には完璧に見通しが立ったけれど実験含めて26日までに間に合うかな？…
高次元でのclusteringのために異なるrandom projectionを複数回行って，それでやりましょうという話．instance同士の近似度を測るためにいったんclusteringしているのが不思議というか，その必要性が見えてこなかった．
ラグランジュ乗数法 & 双対問題の講義．ラグランジュ乗数法はともかくも，双対問題については自分が全くの不勉強であったことを強く身にしみて感じる．説明を聴いていてもなんとなくな理解で終わってしまっている気がする．一度，ちゃんとした本を読んで確実…
MEとEMの話が中心．数学的に厳密なところから入っていくので追うのが若干大変．
http://citeseer.ist.psu.edu/573817.html EMアルゴリズムがQuasi-Newtonのようなsuper-linearな収束を見せる時と，勾配法のようなlinearな遅い収束を見せる時の条件を解析的に同定した上で，その条件に基づいてEMと勾配法を切り替えるhyblidなアルゴリズム…
