janino / go_advanced_code

Go进阶编程学习,be a nicer Gopher

高级Goland学习代码 github.com/Danny5487401/go_advanced_code

目录

Note:目录同级为 代码展示，可在Goland中运行

推荐 GoVersion: 1.18(涉及泛型)

Note: Go 1.18 移除用于泛型的constraints包

必备知识:

• module包管理
• golangci 规范并优化代码 + pre-commit工具

第一章 I/O操作

• 1 os操作系统模块
  • 1.1 os中FileInfo底层的文件描述符和相关信息
  • 1.2 os文件操作
  • 1.3 io包底层Reader和Writer接口
    • 1.3.1 os,bytes,strings包
  • 1.4 io断点续传
  • 1.5 FilePath包
    • 1.5.1 walkPath遍历目录及文件(匹配文件名)
• 2 bufio缓存读写
  • 2.1 reader
  • 2.2 writer

---

第二章 协程Goroutine

• 1 线程模型分类及Goroutine切换原则(GPM模型)

  • 1.1 trace查看宏观调度流程(Goroutine启动时长)

• 2 runtime运行时模块

  • 2.1 runtime核心功能及系统信息调用
  • 2.2 Goexit()终止线程
  • 2.3 data race 资源竞争一致性问题分析
    • 2.3.1 -race 标志分析问题产生
    • 2.3.2 mutex解决问题
  • 2.4 监控代码性能pprof
    • 2.4.1 标准包runtime/pprof及net/http/pprof使用
    • 2.4.2 第三方包pkg/profile
    • 2.4.3 debug 定位goroutine：添加pprof标签

• 3 多goroutine的缓存一致性(涉及cpu伪共享)

• 4 线程池(池化技术)

  • 4.1 使用channel实现Goroutine最大数量限制(令牌桶方式)
  • 4.2 百万请求处理案例
  • 4.3 第三方包线程池ants
  • 4.4 标准库连接池database/sql源码分析
    • 4.4.1 连接池Benchmark对比

• 5 channel导致goroutine泄漏分析及处理

  • 5.1 channel未正常关闭导致goroutine泄漏-->使用 goleak 工具检查
  • 5.2 channel监听避免goroutine泄漏

---

第三章 通道Channel

• 1 Channel内部结构及源码分析(含PPT分析)
  • 1.0 channel 初始化及引用传递
  • 1.1 无缓存通道
  • 1.2 父子通信
  • 1.3 死锁：range未关闭的channel
  • 1.4 优雅关闭 channel 与粗暴关闭 channel
    • 1.4.1 1 个 sender，N 个 receiver: 发送者通过关闭数据通道说 「不要再发送了」
    • 1.4.3 N 个 sender，1 个 receiver: 接收者通过关闭一个信号通道说 「请不要再发送数据了」
    • 1.4.4 N 个 sender，M 个 receiver: 任意一个通过通知一个主持人去关闭一个信号通道说「让我们结束这场游戏吧」
  • 1.5 通道遍历range
  • 1.6 有缓冲channel增强并发
  • 1.7 双向通道
  • 1.8 单向通道
  • 1.9 使用channel传递channel
  • 1.10 happened before
  • 1.11 循环读取关闭的通道值是否阻塞
  • 1.12 select中实现channel优先级-->k8s中实现
  • 1.13 使用RingBuffer实现无限容量的channel
• 2 channel应用:TimerChan模块源码分析及使用陷阱
  • 2.1 reset重新等待被触发
  • 2.2 timerStop使用
  • 2.3 TimerAfter给数据库操作增加超时
• 3 Select多路复用
• 4 CSP理论中的Process/Channel

---

第四章 interface和反射

• 1 interface 与 Go 语言各种数据类型关系--> _type 字段的基础上，增加一些额外的字段来进行管理
  • 1.1 汇编分析不含方法eface和带方法iface
  • 1.2 接口值的零值是指动态类型和动态值都为 nil
  • 1.3 打印出接口的动态类型和值
• 2 反射
  • 2.1 反射三大定律
  • 2.2 类型断言
    • 2.2.1 断言的类型T是一个具体类型 或则 接口类型
    • 类型断言性能分析
      • 空接口类型直接类型断言具体的类型
      • 空接口类型使用TypeSwitch 只有部分类型
      • 空接口类型使用TypeSwitch 所有类型
      • 直接使用类型转换
      • 非空接口类型判断一个类型是否实现了该接口 12个方法
      • 直接调用方法
  • 2.3 获取结构体字段及获取方法名字
  • 2.4 通过 reflect.Value 修改值，调用结构体方法，调用普通函数
  • 2.5 反射性能优化演变案例
  • 2.6 通过反射进行深度比较引用类型
    • 底层类型相同，相应的值也相同，两个自定义类型*是否“深度”相等
    • 一个nil值的map和非nil值但是空的map*是否“深度”相等
    • 带有环的数据对比*是否“深度”相等
  • 2.7 通过reflect.implements判断struct类型是否实现某接口

---

第五章 切片和数组

• 1 值传递-数组
• 2 引用传递-指针切片和指针数组
• 3 切片和数组参数传递性能对比
• 4 底层数据结构
  • 切片数据结构及拷贝copy源码分析
  • 数组数据结构
• 5 nil切片和空切片
• 6 扩容策略
• 7 不同类型的切片间互转
• 8 带索引初始化数组和切片
• 9 切片的复制方式对比: copy和=复制

---

第六章 指针

• 1 指针类型转换及修改值
• 2 指针分类及unsafe包使用
  • 2.1 sizeof获取类型其占用的字节数，unsafe.Offsetof修改结构体私有成员
  • 2.2 指针获取切片长度和容量
  • 2.3 指针获取Map的元素数量
  • 2.4 使用指针来访问数组里的所有元素
• 3 获取并修改结构体私有变量值
• 4 切片与字符串零拷贝互转(指针和反射方式)
• 5 结构体的内存对齐规则
  • 5.1 结构体排序优化内存占用
  • 5.2 空 struct{} 结构体使用
    • 空结构体作为第一个元素
    • 空结构体作为最后一个元素

---

第七章 系统调用

• 1 自定义kqueue服务器（涉及各种linux系统调用）
• 2 使用strace工具追踪系统调用

---

第八章 defer函数及汇编语言理解

• 1 注册延迟调用机制定义及使用
• 2 defer陷阱
• 3 分阶段解析defer函数
• 4 defer循环性能问题
• 5 汇编理解defer函数(AMD)

---

第九章 设计模式-OOP七大准则

• 1 创建型模式
  • 1.1 静态工厂模式-->new关键字函数实现简单工厂
  • 1.2 工厂方法模式-->k8s中实现
  • 1.3 单例模式-->标准库strings/replace实现
  • 1.4 原型模式-->confluent-kafka中map实现
  • 1.5 建造者模式-->xorm,k8s,zap中实现
• 2 结构型模式
  • 2.1 组合模式
    • 2.1.1 修改前：使用面向对象处理
    • 2.1.2 修改后：使用组合模式处理
  • 2.2 装饰模式-->grpc源码体现
    • 2.2.1 闭包实现--多个装饰器同时使用
    • 2.2.2 结构体装饰
    • 2.2.3 反射实现--泛型装饰器
  • 2.3 享元模式-->线程池,缓存**
  • 2.4 适配器模式
  • 2.5 桥接模式
  • 2.6 门面模式(外观模式)-->在gin中render应用(封装多个子服务)
  • 2.7 代理模式
• 3 行为型模式
  • 3.1 访问者模式-->k8s中kubectl实现
  • 3.2 迭代器-->标准库container/ring中实现
  • 3.3 状态模式
  • 3.4 责任链模式
  • 3.5 模版模式
  • 3.6 策略模式-->if-else的另类写法(内部算法封装)
  • 3.7 解释器模式
  • 3.8 命令模式-->go-redis中实现
  • 3.9 备忘录模式
  • 3.10 观察者模式-->官方Signal包及etcd的watch机制
  • 3.11 中介者模式
• 4 函数选项:成例模式-->在日志库zap中实现
  • 4.1 未使用函数选项初始化结构体的现状
  • 4.2 区分必填项和选项
  • 4.3 带参数的选项模式
    • 不返回error
    • 返回error
• 5 插件式编程-->grpc中实现
• 6 同步模式(sync同步原语以及扩展原语)
  • 6.1 waitGroup同步等待组对象
  • 6.2 使用互斥锁（sync.Mutex）实现读写功能和直接使用读写锁（sync.RWMutex）性能对比
    • 6.2.1 使用互斥锁（sync.Mutex）实现读写功能
    • 6.2.2 直接使用读写锁（sync.RWMutex）实现读写功能
    • Mutex和RWMutex源码分析
  • 6.3 Once源码分析
  • 6.4 并发安全的sync.Map与sync.RWMutex封装的map对比及源码分析
  • 6.5 Pool对象池模式( 非连接池 !）-->官方包对象池fmt
    • 6.5.1 错误使用：未使用newFunc
    • 6.5.2 newFunc与GC前后Get对比
    • 6.5.3 何时使用对象缓存
    • 6.5.4 第三方对象池object pool(bytebufferpool)
  • 6.6 Cond条件变量通知所有协程及NoCopy机制-->熔断框架hystrix-go实现
  • 6.7 atomic原子操作源码分析-->zerolog源码中实现
    • 6.7.0 Value的load和store
    • 6.7.1 add及补码减
    • 6.7.2 cas算法和自旋锁
    • 6.7.3 load和store用法
    • 6.7.4 swap交换
  • 6.8 ErrorGroup获取协程中error
    • 6.8.1 不带context
    • 6.8.2 带context
  • 6.9 信号量Semaphore
  • 6.10 SingleFlight避免缓存击穿
    • 6.10.1 Do方法
    • 6.10.2 DoChan方法

---

第十章 函数式编程

• 1 函数应用
  • 1.1 闭包基本使用
  • 1.2 匿名函数应用:回调函数
  • 1.3 函数模版:定义行为
• 2 高级函数filter,map,reduce
  • 2.1 简单案例理解 filter,map,reduce
  • 2.2 interface{} + reflect 实现泛型->Go1.18之前
    • filter
    • map
    • reduce
  • 2.3 go-zero框架实现 map-reduce
    • 2.3.1 Finish函数：一个应用依托于很多服务,在没有强依赖关系下,优雅地实现并发编排任务
  • 2.4 RXGo基于pipelines实现ReactiveX 编程模型
    • 2.4.1 map,reduce 使用
• 3 一等公民案例
  • 网络管理中问题需求
  • 网络管理中三种处理对比
    • 3.1 通过同享内存通信
    • 3.2 通过通信(具体数据)共享内存
    • 3.3 通过通信(函数)共享内存

---

第十一章 汇编理解go语言底层源码(AMD芯片运行代码)

• 1 汇编基本指令
• 2 plan9汇编
  • 2.1 变量var，常量constant
  • 2.2 array数组
  • 2.3 bool类型
  • 2.4 int,int32,uint32类型
  • 2.5 float32，float64类型
  • 2.6 slice切片([]byte)
  • 2.7 引用类型map和channel
  • 2.8 函数申明及实现
    • Go源码中stack操作
  • 2.9 局部变量
  • 2.10 流程控制
  • 2.11 伪寄存器 SP 、伪寄存器 FP 和硬件寄存器 SP关系
  • 2.12 结构体方法
  • 2.13 递归函数
  • 2.14 闭包函数
  • 2.15 两种方式获取GoroutineId
  • 2.16 汇编调用非汇编Go函数

第十二章 网络编程net

• socket介绍

• tcp介绍

• epoll多路复用底层实现及Golang封装

• 1 http服务端高级封装演变

  • 1.1 高级封装：使用DefaultServeMux
  • 1.2 中级封装：使用内置serveMux生成函数
  • 1.3 原始封装：自定义实现serveMux

• 2 http客户端高级封装演变

  • 2.1 request 源码
  • 2.2 response 源码
  • 2.3 transport 源码
  • 2.4 http.Client
  • 2.5 官方库版(爬虫获取邮箱案例-未封装)
  • 2.6 go-resty(推荐使用)

• 3 Tcp实现客户端及服务端(服务端netpoll分析)

  • 客户端
  • 服务端

• 4 Tcp黏包分析及处理(大小端介绍)

  • 4.1 TCP粘包问题
  • TCP粘包解决方式

• 5 fastHttp(源码分析)

  • 5.1 服务端
  • 5.2 客户端

• 6 优雅退出原理分析-涉及linux信号介绍（go-zero实践）

  • 6.1 信号监听处理

• 7 URL的解析 Parse，query 数据的转义与反转义

• 8 使用alice优雅编排中间件

• 9 https

  • SAN签发: 一个证书可以支持多个不同域名的解析

第十三章 CGO调用C语言

cgo在confluent-kafka-go源码使用

Note: 内部c代码需要自己编译成对应本地 静态库 或则 动态库,可参考C基本知识

• 1 Go调用自定义C函数-未模块化
• 2 Go调用自定义C函数-模块化
• 3 Go重写C定义函数
• 4 cgo错误用法：引入其他包的变量
• 5 #Cgo语句
• 6 Go获取C函数的errno
• 7 C的void返回
• 8 Go调用模块化C++库
• 9 调用静态C库
• 10 调用动态C库
• 11 Golang使用pkg-config自动获取头文件和链接库的方法

第十四章 Context上下文-源码分析涉及父类EmptyCtx

• 1 Context使用背景
  • 1.1 问题：如何通过父进程优雅释放子goroutine资源
  • 1.2 方式一：全局参数方式解决的优缺点
  • 1.3 方式二: 通道channel方式解决的优缺点
  • 1.4 方式三: 最优方式Context
• 2 WithCancel使用
• 3 WithDeadline使用
• 4 WithValue使用
• 5 WithTimeout对WithDeadline封装的使用

第十五章 接口嵌套编程

• 1 常见冗余代码写法
• 2 简单优化
• 3 更优方式

第十六章 并发编程

• 1 简单流水线模型
• 2 FAN-IN和FAN-OUT模型

第十七章 数据结构及算法

• 1 queue双端单向队列(泛型)
• 2 加解密
  • 2.1 对称式加密
    • 2.1.1 AES高级加密标准(Advanced Encryption Standard)
      • Cipher FeedBack密码反馈模式
      • Cipher Block Chaining密码分组链接模式
    • 2.1.2 des美国数据加密标准(不推荐)
  • 2.2 数字签名(hmac,md5,sha1,sha256)
    • MD5信息摘要算法
    • hmac
    • SHA安全散列算法secure Hash Algorithm
  • 2.3 非对称加密算法rsa
    • 分段与不分段进行加解密
• 3 随机算法（伪随机和真随机)
  • 3.1 math_rand使用
  • 3.2 crypto_rand使用
  • 3.3 fastrand优化使用
• 4 排序算法分类及图解(sort包源码分析)
  • 4.1 sort包使用
    • 不同结构体切片根据反射reflect实现自定义排序
    • map根据key实现排序
    • sort.Search 根据排序切片找索引
• 5 Jwt源码分析及中间件使用
  • Symmetric 对称加密->HSA
  • asymmetric 非对称加密->RSA
• 6 pem(Privacy Enhanced Mail Certificate保密增强邮件协议
  • 6.1 生成.pem文件(RSA密钥对)
  • 6.2 解析.pem文件
• 7 Base64编码解析
• 8 trie前缀树
• 9 Golang底层数据结构-涉及数值类型占用的bit
  • 9.1 Map底层结构
    • 9,1,1 桶负载因子 overLoadFactor
    • 9,1,2 map的指针优化场景
    • 9.1.3 map 的 Key 类型取值
  • 9.2 String 底层结构,字符集和字符编码,性能分析及内存泄漏分析
  • 9.3 Struct 底层结构,内存布局,空结构体内存对齐

第十八章 错误跟踪和panic

• 0 错误(err)和异常（exception）区别及处理方式
• 1 自定义错误类型打印错误栈
• 2 扩展包pkg.errors
• 3 Gin的错误recover分析(panic和recover源码分析)
• 4 生成errCode错误码及信息
  • 4.1 传统方式：命名错误码、状态码的同时，又要同步写码对应的翻译
  • 4.2 stringer + go generate 自带工具生成errCode错误码及信息
• 5 error如何正确比较
• 6 收集多个errors-->go-multierror实现

第十九章 nil预定义标识

• 1 不同类型为nil时的地址和size大小
• 2 不同类型与nil的比较
  • interface为nil时:数据段和类型
  • nil==nil不可以比较
  • ptr,channel,func,map为nil必须地址未分配
  • slice的长度和容量不决定nil
• 3 不同类型nil时的特点
  • channel为nil时的接收，发送，关闭及select
  • map为nil时可读不可写
  • 结构体指针为nil时是否可以调用方法

第二十章 for-range源码分析

• 1 遍历数组,切片,结构体数组
• 2 正确遍历Goroutine(解析协程启动时间)
• 3 遍历Map(增加或删除map元素时)

第二十一章 time标准包源码分析

• 1 比time.Now()更优雅获取时间戳（go:link技术）
• 2 time.Format()优化写法

第二十二章 数据驱动模板源码分析-->kratos工具

• 1 加载多个模版并指定模版
• 2 自定义模版函数
• 3 html模版

第二十三章 调试内部对象

• 1 fmt打印结构体中含有指针对象, 数组或者map中是指针对象, 循环结构时的困难
• 2 go-spew优化调试

第二十四章 Flag命令行参数

• 1 基本使用及自定义帮助信息

第二十四章 Flag命令行参数及源码分析

• 1 标准包flag基本使用及自定义帮助信息
• 2 第三方包pflag：兼容标准包flag

第二十五章 结构体类型方法

• 1 方法调用语法糖

第二十六章 strconv字符串和数值型转换源码分析

第二十七章 Prometheus

• 部署方式
  • 手工部署
  • operator 部署
• 1 exporter
  • 1.1 内置collector
  • 1.2 使用自定义collector
• 2 Prometheus Operator
• 3 AlertManager
• 4 PromQL

第二十八章 如何进行测试

• 1 gomonkey打桩测试(暂不支持arm)
• 2 go-mock接口测试

第二十九章 module包管理

• 1 go-module 实践篇
  • 模块缓存
  • GOPROXY
• 2 go-module原理篇
  • Minimal Version Selection 最小版本选择算法
• 3 go1.17 module依赖图修剪及延迟module加载

第三十章 内存管理

• 1 Linux内存及Go内存结构管理
  • 1.1 Linux内存管理
  • 1.2 Go内存结构管理
• 2 GC垃圾回收机制
  • 2.1 下次GC的时机
  • 2.2 删除Map元素时通过 runtime.MemStats 查看GC回收流程
  • 2.3 内存对象中有指针与无指针的GC对比,检测内存对象中的指针
    • 2.3.1 gc运行时间: 切片中存储10亿个指针
    • 2.3.2 gc运行时间: 切片中存储10亿个非指针
• 3 逃逸分析
  • 3.1 argument content escapes(fmt参数内容逃逸)
  • 3.2 局部变量指针返回时被外部引用
  • 3.3 接口类型

第三十一章 Go tool 自带工具

• 1 build
  • 1.1 Go build 选项 -tags
  • 1.2 Go build 选项 -ldflags
• 2 makefile 使用

第三十二章 Generic泛型

• 1 interface新含义使用-->type set(类型集合),specific type(特定类型)和structural type(结构类型)
• 2 泛型性能测试