mgjinnn / TurtleSoupBaseline

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

baseline说明

本baseline参考glm4官网:https://github.com/THUDM/GLM-4.git

1、安装环境:pip install -r requirements.txt 具体环境要求请查看https://github.com/THUDM/GLM-4/blob/main/basic_demo/README.md

2、启动服务端:

python openai_api_server.py

3、运行硬件环境:单卡24g

4、启动预测

python test_re.py

5、推理完成后,允许参考process_transform.py 文件,做一定程度上的转换,转换内容仅限于:由于模型的不稳定输出的不同说法但表达意思相同的答案,如“是的。”允许转换为“是。”

6、baseline在测试集A的准确率约为64.7%

About


Languages

Language:Python 100.0%