LuoZijun / rust-jieba

Rust jieba

Rust Jieba

Date

08/28 2018

分词方法

• HMM
• MMSEG

Build

git clone https://github.com/LuoZijun/rust-jieba.git
cd rust-jieba

cargo run --bin mk_hmm_dict > src/hmm_dict.rs
cargo run --bin mk_mmseg_dict > src/mk_mmseg_dict.rs
cargo build

cargo run --example hmm_cut
cargo run --example mmseg_cut
cargo test
cargo bench

分词速度

样本

钱钟书 - 《围城》

处理器

Intel(R) Core(TM) i7-4770HQ @2.2 GHz

单核吞吐量

~= 4MB/s

参考资料

• 国家语委现代汉语语料库
• 互联网上开放的中文语料库有哪些
• 搜狗实验室_语料数据