jieba 是基于Python的中文分词工具,安装使用非常方便,可以直接使用pip 安装：
pip install jieba
#or
pip3 install jieba
Textblob 是基于python 的简单的文本分析库，提供相应功能的API借口，能实现主体识别、词性标注、情绪分析、语义分析等相关文本分析功能。安装使用也十分方便，可以直接使用pip安装：
pip install textblob
使用文档及相关的链接参见以下：
输入每个研究报告会输出一个csv 文件，其中包含提取的关键词、包含该关键词的语句内容、对内容的趋势词的统计、以及总的统计结果等等，大概结构如下：
| 合并短语 | 出现次数 | 提取的句子 | 情绪词统计 | 情绪结果 | ... | 消极内容统计 | 中立内容统计 | 积极内容统计 | 结论 |
|---|---|---|---|---|---|---|---|---|---|
| 固定资产投资增速 | 9 | 从1~2月的8.1%回升至9.5% | negative:0 neutral:0 positive:1 | positive | ... | 3 | 0 | 2 | 固定资产投资增速下降 |
| GDP同比增速 | 8 | 则下降至10.2% | negative:1 neutral:0 positive:0 | negative | ... | 5 | 1 | 1 | GDP同比增速下降 |
| 名义GDP同比 | 4 | 增速从17年4季度的11%下降至10.2% | negative:1 neutral:0 positive:0 | negative | ... | 4 | 0 | 0 | 名义GDP同比下降 |
然后对于输入的所有的研究报告，会生成一个csv, 汇总每个研报的信息 如标题、发布日期、发布机构、结论等，大概结构如下所示：
| 研报名称 | 标题 | 作者 | 发布机构 | 日期 | 相应结论 |
|---|---|---|---|---|---|
| 【中金-易峘、刘雯琪、梁红】中金公司_**宏观速评_180417_1季度GDP增长同比持平于6.8%,春节较晚压低3月工业生产 ——地产投资强劲、基建走弱 | 中金公司_**宏观速评_180417_1季度GDP增长同比持平于6.8%,春节较晚压低3月工业生产 ——地产投资强劲、基建走弱 | 易峘、刘雯琪、梁红 | 中金 | 2016年9月29日 | 固定资产投资增速下降 |
| 【中金-易峘、刘雯琪、梁红】中金公司_**宏观速评_180417_1季度GDP增长同比持平于6.8%,春节较晚压低3月工业生产 ——地产投资强劲、基建走弱 | 中金公司_**宏观速评_180417_1季度GDP增长同比持平于6.8%,春节较晚压低3月工业生产 ——地产投资强劲、基建走弱 | 易峘、刘雯琪、梁红 | 中金 | 2016年9月29日 | GDP同比增速下降 |
| ...... | ...... | ...... | ...... | ...... | ...... |
| 【招商-谢亚轩、张一平、闫玲、刘亚欣、高明、林澍】画像经济新动能系列报告之一从供给侧发现经济新动能 | 画像经济新动能系列报告之一从供给侧发现经济新动能 | 谢亚轩、张一平、闫玲、刘亚欣、高明、林澍 | 招商 | 2018年4月16日 | 存款准备金率下调上升 |
| 【高华-宋宇、邓敏强、李真男、魏静娴、Andrew Tilton】20180417 **：一季度GDP增速符合预期，3月份工业增加值和固定资产投资增速低于预期；我们将2018年GDP增速预测从6.5%上调至6.6% | 20180417 **：一季度GDP增速符合预期，3月份工业增加值和固定资产投资增速低于预期；我们将2018年GDP增速预测从6.5%上调至6.6% | 宋宇、邓敏强、李真男、魏静娴、Andrew Tilton | 高华 | 2018年4月17日 | 工业增加值增速保持平稳 |
| ...... | ...... | ...... | ...... | ...... | ...... |
金融类的研究报告均为pdf格式，为了在python里读取方便，首先我们将研究报告从pdf格式转换成txt文件格式，网上已有免费、高效的转换方法，这里不加赘述，转换后的格式如research_paper文件的txt文件一般。
使用结巴分词对上述转换的txt文件进行分词处理，开发者可以添加自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
jieba.load_userdict("usrdic\\userdict.txt")
其中 usrdic\userdict.txt 为自定义词典 userdict.txt 的位置
在这个项目里，我们自定义了几个词典分别包括常见的停用词、金融研究报告里常见的趋势描述词、日期时间、以及常见特定搭配(如10年期XX，20年期XX)
其中日期时间词典 用于提取研究报告的时间信息，而趋势词词典用于统计、分析相应内容的观点因素。
由结巴分词得到的每个词是单个的实体，并没有太多的实际意义，然而以为分词得到的结果是按原来文章里的相对顺序排列的，我们可以人工合并前后的几个词，来得到相对有意义的实际词组
#如在金融研究报告里
'十年期','国债','利率'
#合成后的新词
'十年期国债利率'
很明显，合并后的短语词组更有实际意义，关于组成合并词组的单位词个数 可以自由设定 如上面那个例子 K=3.
我们统计每个合并短语在原文中出现过的次数，提取相伴随的内容，并通过设定的规则删除那些出现次数为零或者较少的(可以自由设置)合并词组或没有实际意义的合并词组；
接着，对每个短语词组相应的内容进行分析，根据我们的积极、消极、中立的趋势词描述词典， 统计内容里出现过各类趋势描述词的次数，进行汇总得到我们的结论。
由于金融类研究报告的行文规范如格式、常用词大致一样 不会有十分明显的差异，因此虽然本项目提取研报关键内容的依据相对简单，但是效果不错，提取的关键词组的趋势描述基本与原文符合。
当然由于存在相应的规则，对某些研究报告此规则并不适用，因此不会生成任何结果。对于此类研究报告，可以修改规则的范围或者人工阅读。因此，此方法可以作为研报的筛选工具：如果输入研究报告能够得到相应准确的观点、结论，则此类研究报告只需浏览提取的结论即可；相反，没有提取出任何观点的研究报告可能更值得深究。
除了增加趋势词的量，还可以建立一个较齐全的知识图谱，可以整体的分析每个趋势词在原文内容中 描述的程度，简单来说就是为每个趋势词动态赋权。
通过收集高质量的标注语料，搭建情绪分类模型，将整个关键词组相关的句子 输入模型 得到相应的 情绪分析结果。根据训练语料的多少，来决定搭建模型的类型，如svm、naive bayes、决策树、神经网络(长短期记忆循环神经网络)。