yangkang2021 / I_am_a_person

实时互动的GPT数字人

I_am_a_person

实时互动GPT数字人

一. 数字人形象生成与定制

1. 人体姿态估计和渲染
2. 数字人动作与换装换衣试穿.md
3. 视频生成.md
4. 换脸
5. AI换脸系列
6. https://github.com/modelscope/facechain.git
7. https://github.com/ZHKKKe/MODNet
8. AI绘图（stableDiffusion）
   • AI绘图系列
   • AI绘画的应用方向

二. 数字人输入--语音识别

1. AI语音-01-概述
2. k2语音识别.md
3. whisper
4. funasr+Paraformer:https://github.com/modelscope/FunASR

三. 数字人大脑--大语言模型

1. 角色扮演模型
   • Index-1.9B-Character ：https://github.com/bilibili/Index-1.9B
2. 小模型
   • miniCPM
   • MiniCPM-V
   • Phi-3-v
   • gemna2b

四. 数字人讲话唱歌--语音合成

1. vits，vits2
2. so-vits
3. bert-vits2学习.md
4. gpt-sovits
5. openvoice与MeloTTS
6. 唱歌tts(singing voice conversion)：so-vits-svc，NeuCoSVC
7. XTTS
8. fish-speech
9. ChatTTS： https://github.com/2noise/ChatTTS
10. CosyVoice

五. 数字人驱动

1. 真人数字人项目
2. 数字人-01-方案概述
3. 虚拟数字人
   • 虚幻引擎MetaHuman数字人
   • ue和unity数字人.md
4. 三维重建数字人
   • 学习NeRF(新视角合成)
   • 3D高斯gaussian-splatting.md
   • 苹果联合德国马普所推出的，基于高斯函数的3D数字人合成工具HUGS
   • https://machinelearning.apple.com/research/hugs

七. 其他

1. 参考项目