ljy2010a / tail-based-sampling

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

tail-based-sampling

  1. 分配较大缓冲区

  2. 通过计算每次range请求对应缓冲区的位置;(方便多线程下载)

  3. 下载数据后(按readBufSize)提交到index队列.

  4. 异步index队列按\n切割(通过移位操作把起始+长度合成一个int64),提交lines队列.

  5. lines队列进行进行判断组合.(通过intmap,加速聚合)

  6. 统一加载到map(分片+读写锁)进行最后判断,是否提交到下游.(通过较大的批和2w行条件跳过过期队列).

  7. 通知下游后,触发到另一端

  8. 另一端收到wrong trace后,检测是否存在全局map,如果不存在则新建(旧有流程会自动推送),已存在且未推送则补推.

About

License:Apache License 2.0


Languages

Language:Go 98.0%Language:Shell 1.7%Language:Dockerfile 0.3%