CCL2019“小牛杯”中文幽默计算评测
CCL2019,“小牛杯”中文幽默计算任务的数据集及baseline
任务说明参见CCL2019官方网站:http://www.cips-cl.org/static/CCL2019/call-evaluation.html 。
任务每个阶段的排名将在该GitHub公布。
两个任务取测试集的部分数据构建开发集。
在比赛的前四个阶段,将根据模型在开发集上的得分对参赛队伍排名。
完整测试集将在10月5日0点放出,队伍的最终排名由模型在完整测试集上的得分决定。
文件说明:
-- data
-- task1 # 子任务一:生成幽默识别数据
-- task1_train.csv # 训练集
-- task1_development.csv # 开发集
-- task2 # 子任务二:中文幽默等级划分数据
-- task2_train.csv # 训练集
-- task2_development.csv # 开发集
-- baseline
-- task1_baseline.ipynb # 使用LSTM
-- task2_baseline.ipynb # 使用LSTM
子任务一:生成幽默识别
幽默生成是幽默计算的重要目标之一,能够赋予计算机人类的沟通技能。该部分工作要求计算机对幽默本质有深入的理解,即理解幽默产生的机制,从而生成具有幽默效果的内容。幽默生成技术的研究将为如聊天机器人等实际应用场景带来更佳的用户体验。因此,本任务旨在通过对幽默产生机制的分析,实现对计算机生成幽默(如例1、例2)的识别,进而作为评估如对话系统、聊天机器人智能性的重要指标。 例1:我想像一个有很多钱的穷人一样生活。 例2:用户友好的计算机首先需要友好的用户
子任务二:中文幽默等级划分
幽默是日常生活中沟通交流的重要组成部分,也是人类智慧与创造力的结晶。由于幽默特征与主观因素关系密切,“可笑或有趣”对于不同的人多具有不同的诠释,即不同的幽默往往存在着不同的幽默等级。为了研究这一现象,该任务旨在通过分析幽默的内容,探索对幽默等级划分有效的方法,即预测不同幽默的有趣程度。本任务对CCL2018中文幽默等级数据集及分类类别进行了扩展,旨在进一步深入挖掘影响幽默等级划分的重要因素。
例3:弱幽默(label=1):忧虑并不能阻止灾难,它会阻止快乐。
例4:普通幽默(label=3):岁寒三友:火锅、白菜、热被窝。
例5:强幽默(label=5):程序员:一种红眼睛,笨拙的哺乳动物,能够与无生命的物体无障碍的交谈。
数据介绍:
子任务一:生成幽默识别
本任务的数据有两部分来源。第一部分是计算机生成幽默,用标签“0”表示。第二部分是非生成幽默,用标签“1”表示。数据集规模近2万条,按比例划分为训练集和测试集,两者均为csv格式。 数据样例格式如下:
Field Type Description
id int 幽默文本ID
joke string 幽默文本内容
label int 幽默文本类型
子任务二:中文幽默等级划分
本任务数据在CCL2018中文幽默等级划分数据集的基础上进行了扩展,且新增了一个幽默等级类别,分别用标签“1”、“3”、“5”表示递增的幽默程度。数据集规模近2万条,按比例划分为训练集和测试集,均为csv格式。 数据的样例格式如下:
Field Type Description
id int 幽默文本ID
joke string 幽默文本内容
label int 幽默文本类型
两个数据集的规模统计如下:
任务 子任务一 子任务二 训练集 16420 16670 测试集 4106 4171