ywf / nlp-lang

这个项目是一个基本包.封装了大多数nlp项目中常用工具

nlp-lang

文档地址:http://www.nlpcn.org/docs/7 部分演示:http://www.nlpcn.org/demo

##MAVEN

<repositories>
    <repository>
        <id>mvn-repo</id>
        <url>http://maven.nlpcn.org/</url>
    </repository>
</repositories>

<dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7</version>
    </dependency>
</dependencies>

##DWON

http://maven.nlpcn.org/org/nlpcn/nlp-lang/

这个项目是一个基本包.封装了大多数nlp项目中常用工具

工具

• √ 词语标准化
• √ tire树结构
• √ 双数组tire树
• √ 文本断句
• √ html标签清理

组件

• √ 汉字转拼音
• √ 简繁体转换
• √ bloomfilter
• √ 指纹去重
• √ SimHash文章相似度计算
• √ 词共现统计
• √ 基于内存的搜索提示
• √ WordWeight词频统计,词idf统计,词类别相关度统计