読者です 読者をやめる 読者になる 読者になる

an odd fellow

読書と写真と情報工学

Factorization Machines について輪講で発表した

日記 研究

「隣のチームは Factorization Machines 使うらしい」とチームメイトが言ったのは、もはや内定先である弊社の冬インターンだった。当時の僕は「へえそうなんだ(Matrix Factorization の別名かな)」というトボけたことを思ったが、もう大丈夫。わかりました。

で FMs がわかってしまえばなんかコンペで強かったと聞く Field-aware FMs もすぐわかる。

http://www.csie.ntu.edu.tw/~r01922136/slides/ffm.pdf

ぱっと見ると FMs で O(n2) から O(kn) までパラメタを削減できたのに FFMs では O(kn2)になっとるやんけ!これじゃあスパースなデータで推論できんやろ!と思ったんだけどこうなるのは一番極端な場合で、変数をクラスタリングしておけば、現実的にはクラスタ数 f がオーダーに加わって O(kfn) になるということです。

FFMs おもしろいですね、汎化してから特化していてそれで良く推定できるという…。じゃあ今度はそのクラスタ間の相互作用考えたほうがええやんけつってクラスタ間の相互作用を表す重みをl次元ベクトルで分解してパラメータ数 O(klfn) のモデルが提案されて…みたいなことは無いんだろうか。やってみたら面白いのかも知れない。

輪講ではボスが SVM をこの程度でこき下ろすのは納得いかないと言っていた。そもそも回帰に使う SVM とはちょっと違うとも言ってた。僕は SVM 勉強不足でよくわからないが…。論文中で双対問題への変換がデメリットのような雰囲気で書かれていたのだけどこれが僕はよくわからなかった。ボスも別にデメリットなんて無いよと言っていたけど…。