Geek Repo
Home Page:https://news.163.com/
Github PK Tool:Github PK Tool
easy-ngo是由网易传媒开发的基于Go语言的开发工具包,基于easy-ngo工具包,开发者可以快速构建高可用、大并发的应用。
Ngo是由网易传媒基础技术团队开源的一个类似Java Spring Boot的框架,全部使用Go语言开发,做到快速开发应用
【模型部署框架】支持tf/torch/trt/vllm以及更多nn框架、支持dynamic batching、streaming、可限制、可拓展、高性能。帮助用户快速地将模型部署到线上,并通过HTTP/RPC接口方式提供服务。
codes for PAMM-HiA-T5 method
ngo-demo示例
grps服务样例,包含c++、python自定义工程以及快捷部署样例。
网易新闻推荐模型推理优化相关