Giters

alibaba / higress

Cloud Native API Gateway | 云原生API网关

Home Page:https://higress.io

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

AI 代理 Wasm 插件对接百度文心一言

CH3CHO opened this issue · comments

commented

申请认领下这个任务，麻烦帮忙分配下 @CH3CHO

commented

@CH3CHO 您好，开发过程中有个问题沟通下，百度文心一言不同模型的url是不同的，不是通过requestBody中的model来区分的，如果要进行模型映射的话，需要在OnRequestBody中根据requestBody中的model来生成不同的requestPath，然后调用_ = util.OverwriteRequestPath(requestPath)方法替换请求头中的:path
但是验证的时候，我这边发现OnRequestBody方法中不能再修改请求头了（报错：error status returned by host: bad argument），这种好像只能参考azureServiceUrl这种手工配置地址了，无法进行模型映射
您看下有没有什么其他的建议
百度文心一言文档

commented

@CH3CHO 您好，开发过程中有个问题沟通下，百度文心一言不同模型的url是不同的，不是通过requestBody中的model来区分的，如果要进行模型映射的话，需要在OnRequestBody中根据requestBody中的model来生成不同的requestPath，然后调用_ = util.OverwriteRequestPath(requestPath)方法替换请求头中的:path 但是验证的时候，我这边发现OnRequestBody方法中不能再修改请求头了（报错：error status returned by host: bad argument），这种好像只能参考azureServiceUrl这种手工配置地址了，无法进行模型映射 您看下有没有什么其他的建议 百度文心一言文档

可以先参考 Azure 的实现。后续会支持在 OnRequestBody 阶段修改 Header，到时候可以再调整。

commented

OnRequestBody

@CH3CHO 您好，开发过程中有个问题沟通下，百度文心一言不同模型的url是不同的，不是通过requestBody中的model来区分的，如果要进行模型映射的话，需要在OnRequestBody中根据requestBody中的model来生成不同的requestPath，然后调用_ = util.OverwriteRequestPath(requestPath)方法替换请求头中的:path 但是验证的时候，我这边发现OnRequestBody方法中不能再修改请求头了（报错：error status returned by host: bad argument），这种好像只能参考azureServiceUrl这种手工配置地址了，无法进行模型映射 您看下有没有什么其他的建议 百度文心一言文档

可以先参考 Azure 的实现。后续会支持在 OnRequestBody 阶段修改 Header，到时候可以再调整。

好的