sijichun / CNEconDict

适用于中文分词的经济金融词典

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

CNEconDict(中文经济词典)

适用于中文分词的经济金融词典

该项目主要从各个不同的源头搜集经济、金融领域的专业词汇,主要包括如下几个方面的词汇:

  • 经济学、金融学专业词汇
  • 上市公司名称
  • 一般公司的名称、简称
  • 行业名称
  • 金融产品名称
  • 货物产品名称

其中各部分数据来源既有公开的网络爬虫获得的信息,也有私有数据中抽取的信息。 为了防止公开数据源网络压力过大,本项目会将整理好的数据存放在本仓库中供调用

其中各个文件功能如下:

  • glossary.py 从 MBA智库百科 获取专业词汇名称,并记录在:
    • sub_dics/glossary.txt:专业词汇名称
  • stock_name.py 从 新浪财经 获取各只股票的名称、简称,并记录在:
    • sub_dics/stock_name.txt:搜集到的股票名称、股票对应公司名称、公司简称、股票名称历史
    • sub_dics/indus_name.txt:用于分类股票的行业名称
  • gen_dict.py 将sub_dics文件夹下面的所有.txt文件整合为一个词典文件。
  • functions.py 项目中需要使用的共同函数。

由于以上获取的词典的信息来源非常多,难以避免的词典文件会非常大,这有可能会影响分词的效率。如果需要一个更小的词典,以上所有文件(除库文件之外)都可以单独执行,并相应下载/爬取对应的文本文件至/sub_dics文件夹下面,生成词典的主文件gen_dict.py只会将sub_dics文件夹下面的所有.txt文件按照一定的规则整合为一个词典文件。

个人比较忙,更新较慢,如果感兴趣,一起来干。

About

适用于中文分词的经济金融词典

License:MIT License


Languages

Language:Python 100.0%