OpenHUTB / gpt

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

交通大模型

该工程实现人类语音进行交通场景的编辑和控制。

流程

图片替换文本

技术路线包括以下三个步骤:

将中文语音对话转换成文本,参考基于飞桨 PaddlePaddle 的语音工具箱 ,供 代码生成模块 使用。

交互设计

  1. 唤醒词;你好,小轩(个性化问候);数据采集进行微调;
  2. 合成的语音比较生硬;
  3. 实现随意提问,提问口语化;
  4. 声纹识别,根据不同人来问候;
  1. 运行大模型代码生成 ,并根据语音识别模块生成matlab代码;
  2. 根据matlab代码生成对应的交通场景,并在 编辑器 中进行集成。
  3. 使用matlab软件自带代码和github上的成熟matlab仓库进行模型微调。
  4. 叠加生成;多轮交互;

拟实现的编辑和控制功能包括(使用自动驾驶场景设计器):

  1. 增加、删除场景中的车辆、行人等交通参与者,修改交通参与者的属性,查询场景中有多少车(增删改查);
  2. 将摄像机、激光雷达等传感器放置到某台车上;
  3. 场景中车辆加速减速;
  4. 变道、超车、加塞操作;
  5. 仿真场景运行过程中制造交通事故;
  6. 创建单元测试场景;
  7. 以编程方式创建驾驶场景
  8. 生成三维模型
  9. 预测性导航(不同时间):下午怎么走;
  10. 延长红绿灯;增加一倍车辆;
  11. *构建西二环和桐梓坡路口、工商大学地铁站路口、西二环和岳麓大道路口、望月路和岳麓大道路口的DrivingScenario对象(虚幻效果);
  12. 进行场景的修改的监听;
  13. 给车辆加入默认的行驶轨迹;
  14. *立交桥中增加(删除)一条路,看对交通的影响;增加新的车道;
  15. *湖南工商大学内部星期一 9点-10点 开学(一般)一倍的场景:生成配置文件、像素流转发;
  16. *晚上西二环渣土车;
  17. 转发场景中车的声音;
  18. 设置仿真环境 :比如天气、雨、雾、云、太阳高度等,文件位于matlab\toolbox\driving\driving\drivingsim3d.slx中的Simulation 3D Scene Configuration
  19. 控制相机视角变化;

环境配置

大模型配置

一键运行大模型对话和代码生成的工具在百度网盘链接 的“学习->大模型”目录下,“WizardLM演示视频.mp4”展示了如何运行和测试这个模型的详细步骤。以下是进行代码调试的环境部署步骤:

  1. 百度网盘链接 的“学习->大模型->webui”目录中的文件下载;
  2. 解压python.zipwebui/目录,WizardCoder-15B-1.0-GPTQ.zipchatglm2-6b.zip解压到webui/models目录下;
  3. 运行windowsdesktop-runtime-6.0.10-win-x64.exe安装.Net;
  4. 点击快速启动.exe运行图形化界面。

贡献指南

在进行代码之前,请阅读 贡献指南 文档。

参考

WizardCoder

基于飞桨 PaddlePaddle 的语音工具箱

基于PaddlePaddle实现的语音识别

WebUI整合包视频

matlab 实现 GPT2

使用深度学习训练语音命令识别模型

fauxpilot代码生成服务

CodeGeeX2代码生成模型

CodeGeezX多语言代码生成模型

Matlab和OpenAI进行通信的App

生成Python

About

License:Other


Languages

Language:Python 42.4%Language:HTML 18.1%Language:MATLAB 16.3%Language:C++ 12.6%Language:Shell 4.9%Language:Jupyter Notebook 1.1%Language:Perl 1.0%Language:JavaScript 0.7%Language:Vue 0.7%Language:C 0.6%Language:CMake 0.5%Language:Less 0.4%Language:Java 0.4%Language:CSS 0.1%Language:PLSQL 0.1%Language:Dockerfile 0.1%Language:Makefile 0.0%Language:Cython 0.0%Language:Batchfile 0.0%Language:Kotlin 0.0%Language:PowerShell 0.0%