zxlzr / OpenBG-IMG

Baselines for CCKS 2022 Task "Link Prediction for Multimodal Product Knowledge Graph"

OpenBG-IMG基准

OpenBG-IMG是电子商务领域的多模态数据集，本基准使用了TransAE和RSME模型进行链接预测，用于生成CCKS2022面向数字商务的知识处理与应用评测任务三：多模态商品知识图谱链接预测的评测基准，评测结果请在阿里天池平台进行提交。

环境配置

使用以下代码进行环境配置

pip install -r requirements.txt

数据集格式

请将天池平台上的数据放置在./data/，数据目录如下

data
 |-- OpenBG-IMG
 |    |-- images            # 图片集
 |    |    |-- ent_xxxxxx   # 实体对应图片
 |    |    |-- ...
 |    |-- train.tsv         # 训练集数据
 |    |-- test.tsv          # 测试集数据

如何运行

TransAE

本模型参考了OpenKE中TransE模型的实现以及TransAE中对图片的表示和编码。

• 编译C++代码

    cd TransAE
    bash scripts/make.sh

• 数据预处理

    bash scripts/prepro.sh

• 获取图片表示和编码

    bash scripts/visual_emb.sh

• 训练模型并预测结果，结果保存在./results/result.tsv

    bash scripts/train.sh

RSME

本模型参考了RSME的官方代码。

• 获取图片表示和编码

    cd RSME
    bash scripts/visual_emb.sh

• 数据预处理

    bash scripts/prepro.sh

• 训练模型并预测结果，结果保存在./results/result.tsv

    bash scripts/train.sh

致谢

此代码参考了以下代码：

• https://github.com/thunlp/OpenKE
• https://github.com/ksolaiman/TransAE
• https://github.com/wangmengsd/RSME

十分感谢！

更多相关工作

关于多模态知识图谱构建和补全的开源工作请参见MKGFormer(https://github.com/zjunlp/MKGformer/)