HonglinChu / Chinese-LLaVA

支持中英文双语视觉-文本对话的开源可商用多模态模型。

Chinese LLaVA

开源，可商用的中英文双语视觉-语言助手 Chinese-LLaVA 以及中英文视觉 SFT 数据集 Chinese-LLaVA-Vision-Instructions，支持中英文视觉-文本多模态对话的开源可商用对话模型。

模型框架

基础演示

在线试玩

Talk is cheap, Show you the Demo.

• Demo 地址 / HuggingFace Spaces

资源下载

• HuggingFace模型下载：

  • Chinese-LLaVA-Chinese-Llama-2-7B
  • Chinese-LLaVA-Baichuan-7B

• 百度网盘下载:

  • Chinese-LLaVA-Chinese-Llama-2-7B
  • Chinese-LLaVA-Baichuan-7B

• 语言模型:

  • Chinese-Llama-2-7b
  • Baichuan-7B

• 数据集：

  • HuggingFace Dataset: Chinese-LLaVA-Vision-Instructions
  • 百度网盘链接：https://pan.baidu.com/s/1-jgINIkW0MxusmJuSif85w?pwd=q62v

环境安装

# clone the repository
git clone https://github.com/LinkSoul-AI/Chinese-LLaVA
cd Chinese-LLaVA

# install package
conda create -n Cllava python=3.10 -y
conda activate Cllava
pip install --upgrade pip
pip install -e .

快速测试

python infer.py \
    --model-name PATH/TO/THE/CHINESE_LLAVA_MODEL \
    --llm-type "Chinese_llama2" or "baichuan" \
    --image-file PATH/TO/THE/INPUT/IMAGE \
    --query QUERY/PROMPT

TODO

• 如何训练
• int4 量化
• docker 部署

相关项目

• LLaVA
• Chinese-Llama-2-7B
• baichuan-inc/Baichuan-7B

项目协议

Apache-2.0 license

微信交流群