Factorization Machines について輪講で発表した

「隣のチームは Factorization Machines 使うらしい」とチームメイトが言ったのは、もはや内定先である弊社の冬インターンだった。当時の僕は「へえそうなんだ(Matrix Factorization の別名かな)」というトボけたことを思ったが、もう大丈夫。わかりました。

で FMs がわかってしまえばなんかコンペで強かったと聞く Field-aware FMs もすぐわかる。

http://www.csie.ntu.edu.tw/~r01922136/slides/ffm.pdf

ぱっと見ると FMs で O(n²) から O(kn) までパラメタを削減できたのに FFMs では O(kn²)になっとるやんけ！これじゃあスパースなデータで推論できんやろ！と思ったんだけどこうなるのは一番極端な場合で、変数をクラスタリングしておけば、現実的にはクラスタ数 f がオーダーに加わって O(kfn) になるということです。

FFMs おもしろいですね、汎化してから特化していてそれで良く推定できるという…。じゃあ今度はそのクラスタ間の相互作用考えたほうがええやんけつってクラスタ間の相互作用を表す重みをl次元ベクトルで分解してパラメータ数 O(klfn) のモデルが提案されて…みたいなことは無いんだろうか。やってみたら面白いのかも知れない。

輪講ではボスが SVM をこの程度でこき下ろすのは納得いかないと言っていた。そもそも回帰に使う SVM とはちょっと違うとも言ってた。僕は SVM 勉強不足でよくわからないが…。論文中で双対問題への変換がデメリットのような雰囲気で書かれていたのだけどこれが僕はよくわからなかった。ボスも別にデメリットなんて無いよと言っていたけど…。