codefuse-ai / ModelCache

A LLM semantic caching system aiming to enhance user experience by reducing response time via cached query-result pairs.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

非常感谢蚂蚁开源code模型

wengyuan722 opened this issue · comments

现在有几个功能想请假大佬,我使用的CodeFuse-CodeLlama-34B-4bits的模型,对auto_gptq不熟悉,不知道怎么修改成的openai_api的功能,能不能给一个使用AutoTokenizer, AutoModelForCausalLM调模型的案例。
另外一个是,我提问是
你是一个数据分析师,请使用python进行数据分析。我已提供文件titanic.csv,文件地址是/mnt/bst/,请你分析一下这个文件,先读取这个文件,请写出python代码
回答:
generate text is 首先,我们需要导入必要的库.我们将使用pandas,matplotlib和seaborn库.

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

然后,我们将读取文件.

df = pd.read_csv('/mnt/bst/titanic.csv')

接下来,我们将查看数据的前几行.

print(df.head())

然后,我们将查看数据的描述.

print(df.describe())

接下来,我们将查看数据的数据类型.

print(df.dtypes)

接下来,我们将查看数据中是否有缺失值.

print(df.isnull().sum())

接下来,我们将查看数据的唯一值.

print(df.nunique())

接下来,我们将查看数据的分布.

df.hist(bins=50, figsize=(20,15))
plt.show()

最后,我们将查看数据的相关性.

corr_matrix = df.corr()
sns.heatmap(corr_matrix, annot=True)
plt.show()

这些就是一些基本的数据分析步骤.你可以根据需要进行更多的数据分析.
回答是分段回答,这块我要怎么写提示词,形成一个整块的可马上执行的代码
非常感谢。

auto_gptq是一个后端推理工具。如果要改装成类似open_api的服务,您需要自己将后端封装一个http/grpc服务。

已封装完成,但是有一个问题是发现CodeFuse-CodeLlama-34B-4bits对echarts支持不足,这块后期蚂蚁会继续完善后开源不

对于echarts的支持暂时还没有在我们的计划中,但这是个非常好的提议,我们会考虑的