chg0901 / BeautyMaster

We hope to train LLM to be a beauty master to help you solve the problem of dressing and beauty.

中文 | English

美妆达人

我们希望训练一个视觉语言大模型成为成美妆大师，给你提供穿衣和美妆建议。

欢迎大家fork和star我们的项目！！！

💪 目标

• 主要

1. 训练视觉语言大模型具备基本的审美能力；
2. 对齐人类的审美能力；
3. 让大模型为我们提供穿搭建议；
4. 将大模型的穿搭建议展示出来。

• 流程图

✊ 计划列表

训练视觉语言大模型具备基本的审美能力

• 数据处理(WIP)
  • 搜集时尚穿搭数据集；
  • 使用视觉语言大模型为数据打标 internVL；
  • 做一个标记工具；
  • 用标记工具校正大模型打标的数据。

对齐人类的审美能力

• RLHF instruct
• DPO DPO
• ORPO ORPO(https://github.com/xfactlab/orpo/tree/main)
• RLHF-V RLHF-V(https://github.com/RLHF-V/RLHF-V)

让大模型为我们提供穿搭建议

• 视觉语言大模型会给出穿搭建议(WIP)
  • 视觉语言大模型会给出穿搭建议 internVL

将大模型的穿搭建议展示出来

• Segment Tool

  • segment-anything: Features: it can be used to generate masks for all objects in an image.
  • Self Correction for Human ParsingFeatures: An out-of-box human parsing representation extractor.

• Virtual Try-on(WIP)

  • IDM-VTON: Features: it could keep background of the VToN, Techs: IP-Adapter, TryonNet, GarmentNet.
  • COTTON-size-does-matter: Features: it can adjust the size of VToN with a parameter.
  • OOTDiffusion: Techs: LDM-based, outfitting UNet, outfitting dropout, Classifier-free guidance.
  • OutfitAnyone: Ultra-high quality virtual try-on for Any Clothing and Any Person (Including Anime character pictures in demo).
  • StableVITON: Features: it could keep background of the VToN, Techs: LDM-based, zero cross-attention blocks, attention total variation loss and augmentation.

• Visualize the results of the suggestions to the user

  • ControlNet
  • 4d-dress: A 4D Dataset of Real-world Human Clothing with Semantic Annotations
  • champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance
  • MOSS

📂 代码厂库结构 (WIP)

├── README.md
├── README_cn.md
├── docs
├── scripts
├── beautymaster
│   ├── datasets
│   ├── 3rdparty
│   │   ├── internvl
│   │   ├── IDM-VTON                     
│   │   ├── champ
│   │   ├── archpp
│   │   ├── ControlNet
│   │   └── OOTDiffusion
│   ├── demo
│   ├── src
│   ├── train     
│   └── utils
├── requirements.txt

🛠️ 下载代码

1. 下载代码

git clone https://github.com/RayTang88/BeautyMaster.git
cd BeautyMaster

2. 安装基础环境

conda create -n beautyMaster python=3.10 -y
conda activate beautyMaster

3. 安装依赖

pip install -r requirements.txt

数据集

请参考 Data.md

推理

cd beautymaster
python demo/infer.py 

🔒 许可证

使用和许可声明: 数据、代码和检查点仅供研究使用，不得用于商业用途。 它们还仅限于遵循 InternVL、RLHF、DPO、ORPO、RLHF-V、segment-anything、SCHP、IDM-VTON、ControlNet、4d-dress、champ 许可协议的使用。 数据集为 CC BY NC 4.0（仅允许非商业用途），使用该数据集训练的模型不应在研究目的之外使用。