模型文件能不能下载到本地开发服务器从本地加载

[iotcas]

模型文件能不能下载到本地从本地加载，从huggingface.co下载有点慢，而且过一段时间浏览器清除缓存之后又要重新下载。
能否给个资源包放在开发服务器里，然后修改配置从本地加载

[ryanyang125]

导出&导入模型：
目前不支持，但已经在开发计划中，预计在未来两周内会支持模型文件的Cache <=> Export & Import的能力。
但你可以用下面的命令将模型下载到本地，自行托管

wget https://huggingface.co/mlc-ai/web-lm/resolve/main/vicuna-7b-v1/ndarray-cache.json

for i in {0..162}
do
  wget "https://huggingface.co/mlc-ai/web-lm/resolve/main/vicuna-7b-v1//params_shard_$i.bin"
done

然后更改config.json里cacheUrl为你自己的开发服务器地址

希望对你有帮助😊

[iotcas]

我也是这个思路处理好了😊

[Maocai]

借楼问一下，这个在**大陆需要梯子翻墙才能使用么 @Ryan-yang125

[ryanyang125]

借楼问一下，这个在**大陆需要梯子翻墙才能使用么 @Ryan-yang125

网站是部署到vercel上的，vercel分配的域名dns在大陆几乎都被污染了，所以需要挂梯子，下载模型是从hugging face上下的，不挂梯子也会比较慢。可以尝试自己部署😊