yaoding16 / starter-kit

Quick Go-Micro 快速开发包

Micro 快速开发工具包

项目进行中

本仓库旨在提供面向Go-Micro生产环境的快速开发包。

目录

• 快速开始示例
  • 控制台示例
    • 以最常见的登录流程为例，实现一个场景简单，但包含微服务各种治理能力的示例
  • Hipster Shop示例
    • 参考GoogleCloudPlatform/microservices-demo实现一个业务场景比较复杂的微服务应用
    • 暂时放弃这个目标，继续以 console 为例增加更多特性进来
• 架构设计
• 目录结构
• 目标功能
• 开发环境
• 部署环境
• 参与贡献

架构设计

系统架构图

业务架构图

Console示例

• Hipster Shop示例
  • 参考GoogleCloudPlatform/microservices-demo

领域模型&整洁架构参考

• Clean Architecture in go
• 基于 DDD 的微服务设计和开发实战
• 当中台遇上 DDD，我们该如何设计微服务？

目录结构

├── console             控制台示例
│   ├── account         go.micro.srv.account，Account服务
│   │   ├── domain              领域
│   │   │   ├── model           模型
│   │   │   ├── repository      存储接口
│   │   │   │   └── persistence ①存储接口实现   
│   │   │   └── service         领域服务
│   │   ├── interface           接口
│   │   │   ├── handler         micro handler接口
│   │   │   └── persistence     ②存储接口实现
│   │   ├── registry            依赖注入，根据使用习惯，一般Go中不怎么喜欢这种方式
│   │   └── usecase             应用用例
│   │       ├── event           消息事件
│   │       └── service         应用服务
│   ├── api             go.micro.api.console，API服务
│   ├── pb              服务协议统一.proto
│   └── web             go.micro.api.console，Web服务，集成gin、echo、iris等web框架
├── deploy              部署
│   ├── docker
│   └── k8s
├── doc                 文档资源
├── gateway             网关，自定义micro
└── pkg                 公共资源包

目标功能

• 自定义micro网关
  • JWT认证
  • Casbin鉴权
  • Tracing
    • Opentracing
    • TraceID micro/go-plugins/micro/trace/uuid
  • Metrics
  • Access Log
  • ...
• API服务
  • 网关使用默认处理器(handler=meta)，聚合服务通过Endpoint定义路由规则，实现统一网关管理rpc和http类型的聚合服务
    • 注:go-micro/web服务注册不支持Endpoint定义，需要自定义web.Service(实现参考)，issue#1097
  • api
  • rpc
  • proxy/http/web
    • 静态资源
      • 前后端分离场景将静态资源独立更好，但不排除使用Web模板框架的应用加入微服务体系，尤其在已有单体逐步拆分的演进过程中
    • echo
    • gin
    • iris
    • beego
  • API文档
    • swagger
      • 使用grpc-ecosystem/grpc-gateway的protoc-gen-swagger生成swagger文档，适用于APIhandler=rpc的模式，因为文档生成是将 proto 中的 request 和 response 做映射，像handler=api是没有接口的实际定义的，所以无法在文档中反应接口信息
      • 示例
• 配置中心
  • XConf
• 前后端分离console
  • PanJiaChen/vue-element-admin
    • 示例
  • tookit/vue-material-admin
  • view-design/iview-admin
• 参数验证
  • protoc-gen-validate，适用于APIhandler=rpc的模式，以及普通srv服务
    • 规则配置account.proto
    • 参数验证account.go
    • server.HandlerWrapper和client.CallWrapper自动参数验证wrapper/validate
• 领域驱动
  • 整洁架构
    • 示例console/account
• ORM
  • gorm
    • 示例
  • xorm
    • 示例
• 发布
  • 灰度
  • 蓝绿
    • 注:由于 micro 默认的 api 和 web 网关均不支持服务筛选，需要自己改造，方案参考微服务协作开发、灰度发布之流量染色，此方案仅适用于测试，具体 asim 在 PR#1388 给了反馈，但可以自定义 Router 实现
    • 自定义 Router 实现网关对服务筛选的支持，因为 micro 有 internal 库所以需要在 micro 内实现，参考我 fork 的分支版本 hb-chen/micro/gateway，gateway 模块使用的便是此方案，可以快速实现流量染色
• 部署
  • K8S
    • helm
  • Docker
    • 示例console
• 安全
• CICD
  • Drone README
    • Go & Node编译
    • Docker镜像
    • Kubernetes发布
    • 缓存
  • Jenkins
• 基础服务
  • 日志收集
    • Fluentbit + Elasticsearch
      • docker-compose
      • Kubernetes
  • 监控告警
    • Prometheus
    • Grafana
  • Tracing
    • Jaeger
• ...

开发环境

• 本地
  • Docker Compose
• 在线
  • CICD
    • Drone
    • Kubernetes
  • 本地服务接入
    • Docker环境
    • K8S环境

本地服务接入-Network代理

本地服务接入-Network代理

Network代理测试

以console的docker-compose.yaml为例，假设compose为在线环境，本地开发account服务。

• compose中加入network服务，参考docker-compose-network.yml
• api服务使用network做代理MICRO_PROXY=go.micro.network，注意测试时compose中仅api服务使用代理
• 本地启动network
  • micro --registry=etcd --transport=tcp network --nodes=127.0.0.1:8085 --address=:8086 --advertise_strategy=local
• 剩下的工作使用proxy对route的筛选功能，参考PR#897
  • 查看本地router，micro --registry=etcd --transport=tcp network routes
  • curl -XPOST -H "Micro-Router: 6832f8ff-1217-4119-8a56-9a90adf19fef" -d '{"username" : "admin","password":"123456"}' http://localhost:8080/account/login

真实场景

• 考虑所有服务都可以自助路由到本地，不能直接使用Micro-Router(因为Micro-Router会在全链路生效)，可以自定义header来定义router筛选的应用范围，通过Client/Call Wrap实现，参考实现router_filter
• 要做到api服务可以路由筛选，在网关层与流量染色有相同的问题，不支持服务筛选，导致的代理服务被忽略，需要去掉SelectOption
  • 另一个方案是在本地开micro api + 聚合服务，聚合服务再通过network代理访问线上服务，可以满足一般场景的需求
• 网关及服务全部使用network做代理

# api服务路由到本地
curl -XPOST -H "X-Micro-Router-Filter: go.micro.api.console:6832f8ff-1217-4119-8a56-9a90adf19fef" -d '{"username" : "admin","password":"123456"}' http://localhost:8080/account/login

# account服务理由到本地
curl -XPOST -H "X-Micro-Router-Filter: go.micro.srv.account:6832f8ff-1217-4119-8a56-9a90adf19fef" -d '{"username" : "admin","password":"123456"}' http://localhost:8080/account/login

# api和account服务都路由到本地
curl -XPOST -H "X-Micro-Router-Filter: go.micro.api.console:6832f8ff-1217-4119-8a56-9a90adf19fef;go.micro.srv.account:6832f8ff-1217-4119-8a56-9a90adf19fef" -d '{"username" : "admin","password":"123456"}' http://localhost:8080/account/login

生产环境

Kubernetes环境

可选服务

Jaeger

浏览器访问:http://localhost:16686/

$ docker run -d --name=jaeger -e COLLECTOR_ZIPKIN_HTTP_PORT=9411 -p5775:5775/udp -p6831:6831/udp -p6832:6832/udp   -p5778:5778 -p16686:16686 -p14268:14268 -p9411:9411 jaegertracing/all-in-one:latest

Prometheus

浏览器访问:http://localhost:9090/

prometheus.yml参考gateway插件`metrics/prometheus.yml

$ docker run -d --name prometheus -p 9090:9090 -v ~/tmp/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

Grafana

浏览器访问:http://localhost:3000/

Grafana仪表盘importmetrics/grafan.json

$ docker run --name grafana -d -p 3000:3000 grafana/grafana

参与贡献

代码格式

• IDE IDEA/Goland，Go->imports 设置
  • Sorting type gofmt
  • Group stdlib imports
    • Move all stdlib imports in a single group
  • Move all imports in a single declaration