Research

perceptron でいーじゃん←結論

今後の予定

duality のおべんきょー structured prediction + duality やたー\(^o^)/とかちつくちてのけいたいそかいせきできたよー 何かこんな感じでよろしく>俺

いい加減「duality が分かりません」ではすまなくなってきた希ガス.

quadratic problem なんてこの世から消えてなくなっちゃえー(^o^)

Bregman Divergence って何すか?

えーっと……500万行×500万列な double の行列って空間計算量いくら?200TB? . ィ .._ .......、._ _ /:/l! :~""''.>゙' "~ ,、、''‐'、| _ ゙、'、::::::ノ:::::::_,.-=. _〜:、 /_.}'':, ``、/:::::::::__....,._ `゙'Y' _.ェ-、....._ /_゙''i゙ノ、ノ ,.--l‐''"~..-_'.x-=…

今日のまとめ(またしてもお昼にまとめちゃってる!). EM 回らなければ変分 bayes どぉ?(またしても bayes ちゃん登場かっ!!) 『プラネテス』の単行本全巻置いてて『ヴィンランド・サガ』置いてないのは人類の大いなる損失 『でじぱら』の扉絵はなん…

きのうのまとめ

昨日のまとめ(そもそもおまいは昨日を何をやっていたのか?という疑問はさておいて). the long tail 云々 the long tail 云々は必ずしも素晴らしい状況だけを生み出しているわけではなくって,結局あらゆる分野に大衆迎合的な価値観を爆発的に普及させて…

タヨウタイがね,こうね,ぶぁーって. あはははは.あはは.あははは.

Methods of Information Geometry

アタッテ クダケタ

しかしこの「なかなか脱出できない」という事実こそがむしろ最重要ポイント.なんじゃそりゃ.

う〜ん.数値的に非常に性質の悪い最適化問題を扱わないといけなくなった. ある点の近傍において,目標関数(最小化の対象の関数)の値が 10^5 程度でその微分係数ベクトルの norm が 1.0e-8 程度という最適化問題.仮にこれが極値付近の領域の話ならばどう…

Methods of Information Geometry

情報幾何学を真面目に勉強しておけばよかったと後悔している今日この頃,皆様いかがお過ごしでしょうか? ということで初っ端からいきなり情報幾何学の総本山に突撃っ!当たって砕けろっ!

bayes の第一印象

bayes がなんで好きになれないか考えてみたら,どうも bayes との最初の出会いがまずかった希ガス.なんかこう一番初めの印象が 「それ,結局 maximum likelihood の overfitting の問題が model selection の問題に摩り替わっただけで,問題としてまた別の…

くみあわせさいてきかもんだい が あらわれた !

あぁ!? これ objective が convex じゃねーじゃんかーっ!!!あぁ,もう,氏ね死ね市ね.>俺

bayes に徐々に侵食される,の巻

うぅ〜むむむん.自分は今まで生粋の frequentist のつもり (対数尤度が最大化されればそれで良いんですよ,ぷっぷくぷー) だったけれど MAP とか真剣に考え出しているうちに,確率分布のパラメタがだんだんとこうぼやぁ〜っとぼやけて見えるようになってき…

上がった風呂から走り出す

ευρηκα!ευρηκα!

そうか,そういうことかリリン!!謎は全て解けたっ!!犯人はお前だっ!!

The Problem might be Solved

The problem might be solved.

time stamp 毎に LU factorization するなんてそんなばにゃにゃ

上のアイデアは発見後10時間でダメさ加減が判明.ふはははは〜.

Forward-only Forward-Backward

forward iteration しか回さない Forward-Backward (Baum-Welch) という革新的な方法っ!! むしゃくしゃしてやった.革新的ならなんでも良かった.今も反省していない.

うがー!もうなんか1日中ノートとホワイトボードの上に計算式書きまくってる気がするぞっ!?早くコーディングしてー!早くコーディングしてー!これがうまくいけば世界を革命する力ががががが.

Stochastic Meta-Descent

stochastic descent って使えるんかいなーとか思っていたんだけれど,思いっきり CRF で使われていたという事実! この Stochastic Meta-Descent でキモと思われる Hessian とベクトルの積の計算を,微分関数の自動微分法 (forward accumulation) で implici…

なんか画期的な手法思いついたかも知れない,みたいな

思いついた瞬間は「大発見wwwテラスゴスwww」とか興奮してたんだけれど,振り返って発想を整理してみると案外大したことでもなかった,ってゆ〜.まー,研究なんてそんなもんか. 理論的には完璧に見通しが立ったけれど実験含めて26日までに間に合うかな?…

(Non-linear) Conjugation Gradient

http://www.cs.cmu.edu/~quake-papers/painless-conjugate-gradient.pdf すげぇwww. CG について説明しているのに CG のアルゴリズムの表式がちゃんと出てくるのが30ページ目www.自分が知りたい non-linear な場合にいたっては42ページ目.つか, CG…

Xiaoli Zhang Fern, Carla E. Brodley, "Random projection for high dimensional data clustering: a cluster ensemble approach", ICML2003.

高次元でのclusteringのために異なるrandom projectionを複数回行って,それでやりましょうという話.instance同士の近似度を測るためにいったんclusteringしているのが不思議というか,その必要性が見えてこなかった.

ラグランジュ乗数法・双対問題

ラグランジュ乗数法 & 双対問題の講義.ラグランジュ乗数法はともかくも,双対問題については自分が全くの不勉強であったことを強く身にしみて感じる.説明を聴いていてもなんとなくな理解で終わってしまっている気がする.一度,ちゃんとした本を読んで確実…

Numerical Optimization

頼んでいた『Numerical Optimization』(asin:0387987932)がやって来た.早速,図書係のK口君からひったくって私有物にしてしまう.いっしっし.

"Evolving Strategies for Focused Web Crawling", ICML2003