别名发现系统
项目说明
别名发现在日常生活、知识图谱及搜索推荐中有重要应用。
本项目使用深度学习方法去发现非结构化文本中的别名与简称（或称缩略语），比如下面的例子：
卡定沟：又名嘎定沟，位于西藏318国道拉萨至林芝段距八一镇24公里处，海拔2980米，地处雅鲁藏布江支流尼洋河畔
发现别名为：(卡定沟, 别名, 嘎定沟)。
本文将会提供别名发现的语料以及相应的深度学习模型，即使用关系抽取模型作为别名发现的模型。
语料说明
本项目最大的贡献在于提供人工标注的高质量别名语料，本项目于2021年8月11日启动，长期维护，由于是个人维护，故更新较慢。
本项目的语料来源见下表（源语料已经由作者使用程序加工处理过，因此下面语料只表明别名语料的出处）：
| 文件名称 | 数据来源 | 标注样本数量 |
|---|---|---|
| data/ccf2019_corpus.json | CCF2019年关系抽取比赛数据 | 3369 |
| data/sougouqa_webqa_corpus.json | 阅读理解数据（WebQA & SougouQA） | 1056 |
模型训练
训练集数据:测试集数据=8:2
maxlen=200, batch_size=16, epoch=20, 使用Google Colab训练（预训练模型为哈工大的中文Roberta模型: chinese-RoBERTa-wwm-ext）, 在测试集上的F1值为88.97%
模型预测
杨桃,又名阳桃、羊桃、五棱子,学名“五敛子”,又因横切面如五角星,故国外又称之为“星梨”。 杨桃原产地,传统认为产於东南亚的马来西亚等地。我国於汉朝就有栽培记载,今我国福建、广东、广西、云南等地;亚洲东南亚、印度;美洲巴西等热带地区均普遍栽培。...
预测结果:
[("杨桃", "别名", "阳桃"), ("杨桃", "别名", "羊桃"), ("杨桃", "别名", "五棱子"), ("杨桃", "别名", "五敛子"), ("杨桃", "别名", "星梨")]
关羽去世后，逐渐被神化，被民间尊为“关公”，又称美髯公。
预测结果:
[("关羽", "别名", "关公"), ("关羽", "别名", "美髯公")]
英吉利海峡隧道(thechanneltunnel)又称英法海底隧道或欧洲隧道(eurotunnel)，是一条把英国英伦三岛连接往欧洲法国的铁路隧道，于1994年5月6日开通。
预测结果:
[("英吉利海峡隧道", "别名", "英法海底隧道"), ("英吉利海峡隧道", "别名", "欧洲隧道")]
备注
语料维护费时费力，因此可能会存在一定错误，如有问题，请及时指出。