musyoku / unsupervised-pos-tagging

教師なし品詞タグ推定

Unsupervised POS Tagging

教師なし品詞推定の論文4本の実装を目標にしています。

実装状況

• A Fully Bayesian Approach to Unsupervised Part-of-Speech Tagging

• The Infinite Hidden Markov Model

• 無限木構造隠れMarkovモデルによる階層的品詞の教師なし学習

• Embedded HMMに基づくiTHMMのforward-backwardによる学習

データセット

英語

Penn TreeBank

https://github.com/wojzaremba/lstm/tree/master/dataからPenn TreeBankのテキストデータをダウンロードできます。

text/ptb.txtは上記データのptb.train.txtとptb.valid.txtを結合したものになります。

日本語

こころ

http://www.aozora.gr.jp/cards/000148/card773.htmlからダウンロードできます。

text/kokoro.txtは上記データに前処理を施したものになります。

吾輩は猫である

http://www.aozora.gr.jp/cards/000148/card789.htmlからダウンロードできます。

text/neko.txtは上記データに前処理を施したものになります。