TTL v3 project management

Question

TTL v3 project management

oldratlee opened this issue 2 years ago · comments

李鼎 commented 2 years ago

关于`TransmittableThreadLocal(TTL)` v3

🚧 TransmittableThreadLocal(TTL) v3 在开发中（在master分支），还没有发布。

新功能推荐都在v3中提供，原因：

TTL域的核心问题（包含了可扩展的能力、不包含扩展的实现）在v2解决了，并且稳定；
- TTL核心功能，v2已经是开放的
  - 如果你觉得有必要或是喜欢想试一下，
    可以用自己的实现来替代最核心TransmittableThreadLocal类实现
- 这让维持v2聚焦v3升级成为可能。
避免 v2老版本的并行大维护工作与保持兼容性的历史包袱（如不优或过度的设计、对低版本Java的支持），从而在v3聚焦输出有价值的工作。
- v3作为在大版本升级，可以是不兼容升级
- 当然会提供TTL v2的兼容包（即ttl2-compatible 3.x模块），以简化用户的升级过程
通过v3有价值的新功能可以引导大家从v2升级、试用/使用、优化v3。

已有的相关讨论：

#173 (comment)

TTL v3.x重点会是

对常用的周边框架的使用做一等公民的体验优化支持。

如，开发框架王者Spring/Spring Boot的集成

PS：JDK标准库涉及类的集成，v2已经做了

TTL Agent的扩展开放，方便三方自己做类增强的集成。

执行组件很多，这些涉及的类增强，在TTL库中不可能都做支持

PS：用于框架集成的API（核心是Transmitter），v2已经开放了

……

TTL核心功能，v2已经是开放的，即

没有什么功能只能在TTL库中才能实现。

或说成，需要的功能可以在TTL库外部来扩展实现。

在TTL项目中，扩大集成范围，可以优化大家平时常用场景开箱即用的使用体验。

其实，不少方便使用的TTL集成/增强，各个大厂是会有实现的，但并没开源出来；这些使用便利的地方值得进一步解决得更好。

#405 (comment)

TTL v3会提供

无shade的API依赖

分离用户API与Agent成2个依赖

也可以提供spring-boot loader + fatjar模式依赖

v3作为大版本升级，可以做不兼容的修改，清理掉不好的设计与实现；当然会提供TTL v2的兼容包。

v3会提供Kotlin语言的一等公民支持。

#377 (comment)
到了现在，因为库的兼容性，也不能删除掉这个扩展点了 😢

#412 (comment)

如果你觉得TTL带的实现不优或是可以结合你自己的业务场景来优化，
TTL v2.14.0提供了可以自己实现ThreadLocal注册的入口：
即不用TransmittableThreadLocal实现类，改用你自己的实现类。

下面是v3的工作项列表及其进展。

TTL core

API 不兼容升级

❗️ 不兼容

`Transmittance/CRR`分离成独立包（成为一个小框架）

就像 https://github.com/reactive-streams/reactive-streams-jvm
这种核心小框架抽象后，相信意义很大：

CRR概念/模式有普遍性，分离独立可以对核心问题给出高水准与高强度的设计与实现。

即使不被业界其它项目使用，只是TTL自身在使用，也可以提升TTL自身的设计与实现，如模块化/扩展性/概念分离。

可以注册不同的ThreadLocal（如Netty的FastThreadLocal），扩展性提升/三方平等的设计。

Transmittance生命周期回调（callback）的提供是清晰、规范的。

设计的优化可以带来 TTL自身实现的可靠性提升。

显化核心概念：transmitter、transmittee、CRR
这个小框架要独立/自包含，不能依赖上层（即TTL）。
- TransmittableThreadLocal也只是CRR的一个普通使用方
- TTL Transmitter类（TTL的使用方）仍以static方法的方式暴露TTL CRR操作
- 上下文异常如何具体场景化？
CRR作为TTL开发扩展的下层API，与TTL用户API分离开。
- 放在com.alibaba.crr包下
- 注意：不位于com.alibaba.ttl3包下，在包名上也体现出了CRR与TTL的独立性。
- TransmittableThreadLocal创建、持有并注册TtlTransmittee（静态实例）。
  ~~TTL Transmitter实例化TtlTransmittee并持有。~~
🆕✨ 通过Transmitter支持before/after execute回调及其注册
可以支持TTL v2的已有功能/v3中去除的功能（TransmittableThreadLocal的before/after execute方法）
Transmitter支持before/after execute回调方法的调用是一致性的(4ba3dd6)
- 一致性是指：对于注册的CrrTransmitCallback实例：
  - 收到回调beforeX就一定要收到afterX
  - 收到回调xReplay就一定要收到xRestore
- 这样一致的回调保证了，即使在回调中包含资源管理的逻辑也不会带来资源泄漏的问题。

v2.14.0支持了ThreadLocal的注册，三方平等支持（如FastThreadLocal）
https://github.com/alibaba/transmittable-thread-local/releases/tag/v2.14.0

TTL Agent

✨🆕 `TTL Agent`模块化

#260
- 分离Agent Jar与API Jar
- 这样API包大小很小，用户运行时依赖不exclude TTL包而冗余了也成本小
- 方便Agent包支持不同的打包格式，不同场景使用友好
提供没有shade依赖的TTL Agent包
- 方便方便使用方repackage/shade依赖
- 打包TTL Agent到自己的Agent包中，并且共享一份shade的依赖（如字节码库）
- 具体设计、实现与使用方式，可以参照byte-buddy
提供常用的Agent打包格式
- #405

`TTL Agent`的扩展机制

可以加载应用中的类增强的逻辑实现，但不需要三方提供Java Agent实现；
从而简化三方提供Agent的类增强逻能力。

TTL的集成往往涉及API与Agent两者的支持。

🆕 提供Agent的扩展机制

✨ `TTL Agent`支持运行时加载生效

🆕 #169
TTL Agent支持运行时加载生效
引入ConcurrentWeakMap/ConcurrentWeakHashMap (ade56ea)
- 在Spring中有ConcurrentWeakHashMap实现
- 注意：提供工厂方法以返回接口的实现的实例，实现类隐藏掉；这样方便后面切换（更好的）实现
- 目前还没有引入ConcurrentWeakMap，实现内部使用，不需要复杂化
通过ConcurrentWeakMap存储类实例与capture的关联替代在已有的类上新增capture字段
- 这样的方案，不会给要增强的类新增字段（即不改变的类结构），从而Agent可以在运行时增强已有的类；
- 但会增加GC负担，考虑只在运行时加载TTL Agent时使用这个方案。
整理Agent开发相关的文档到
#169

配置体验优化

🆕 使用-D properties来配置TTL Agent，而不是Agent参数。
- 更友好方便，Agent参数写起来读起来繁琐易错。

`Agent`字节码实现

改用byte-buddy实现

测试

v2单元测试迁移到v3
- TTL core模块
- TTL Agent模块

注意：原则上，v2的测试代码一行不能改，以确保尽量发现兼容包的v2功能break。

文档

更新markdown文档中的文件链接，因为模块移动了目录
v3文档中去除v2的版本新功能说明，v3中v2功能都一开始就有的
业务场景中，说明上典型的业务上下文，如登录/授权的用户ID、平台的租户ID

`ttl2-compatible`的实现成代理到`TTL3`

需要在v2的相关方法（如check）中，兼容逻辑
添加通过v3实现类来判断的兼容逻辑
添加@Deprecated及其说明
- 说明包含：推荐使用v3、v3的用法、v3与v2不兼容的内容

生态集成支持

往往涉及API与Agent两者的支持

🆕✨ `Kotlin`支持

✨ Kotlin语言的一等公民支持 #119
✨ 支持/集成kotlin coroutine支持 #118
- API支持
- Agent支持

🆕✨ `Spring/SpringBoot`集成

执行器wrapper支持Spring，集成Spring Async Executors #173
- 简化使用，在效果上像Agent但配置更简单
- 感觉『Bean注入时拦截做包装』更好，不是『Bean生成时拦截』
- API支持。参考项目Dreamroute/ttl-spring-boot-starter
  - 提供Spring/SpringBoot注解，如@EnableTtlExecutor，@SkipTttlWrapper
- Agent支持
提供session cache的Spring支持

Misc

待细化展开

优化（如性能）

TtlAttachments没有使用时不创建，比如在TtlRunnable中的使用
异常捕捉处理：不要捕捉Throwable，只捕捉NonFatal Exception (8eb51d4)
- 实现参考：
- source code: https://github.com/scala/scala/blob/v2.13.9/src/library/scala/util/control/NonFatal.scala#L35-L43
- scala doc: scala.util.control
performance optimization, use expected size to initialize hash map instead of capacity(8590e25)
fix wrong equals/hashCode implementations of TTL wrappers (4f18607)
🆕 add ttl-bom (d573053)

mingyang66 · Answer 1 · Tue Oct 18 2022 17:00:47 GMT+0800 (China Standard Time)

v3有没有发布的时间点？

李鼎 · Answer 2 · Tue Oct 18 2022 18:28:42 GMT+0800 (China Standard Time)

v3有没有发布的时间点？

还没有定 😄 @mingyang66

一方面，重构/新增的内容有些多，期望想得清楚些。
另一方面，有v2可用，倒不紧急。

谢谢关注 💕

大家如果有实际/目标的场景需求可以提，以调整实现优先级和发布节奏。

mingyang66 · Answer 3 · Wed Oct 19 2022 09:27:42 GMT+0800 (China Standard Time)

v3有没有发布的时间点？

还没有定 😄 @mingyang66

一方面，重构/新增的内容有些多，期望想得清楚些。另一方面，有v2可用，倒不紧急。

谢谢关注 💕

大家如果有实际/目标的场景需求可以提，以调整实现优先级和发布节奏。

OK，最近一直在关注TTL的更新

haoyongdong · Answer 4 · Mon Apr 10 2023 11:19:19 GMT+0800 (China Standard Time)

集成SkyWalking这部分，请问打算怎么迭代呢，是否会成为skywalking的自定义插件模式支持~

李鼎 · Answer 5 · Mon Apr 10 2023 11:39:47 GMT+0800 (China Standard Time)

集成SkyWalking这部分，请问打算怎么迭代呢，是否会成为skywalking的自定义插件模式支持~

@haoyongdong

集成的这部分内容，可以做的要做的比较多。 😂
- 对于使用多、问题明显的，优先级高。 💕
PS：整体TTL v3没有定发布节奏，原因见上面的评论内容

haoyongdong · Answer 6 · Mon Apr 10 2023 11:47:15 GMT+0800 (China Standard Time)

明白，感谢回复；最近在使用skywalking的多线程插件时遇到了些问题，发现如果测试应用使用了自定义加载器会导致切入异常，所以看到了TTL，有想用TTL替换skywalking中的多线程插件的想法

李鼎 · Answer 7 · Mon Apr 10 2023 12:02:01 GMT+0800 (China Standard Time)

如果测试应用使用了自定义加载器会导致切入异常，所以看到了TTL

嗯嗯 ❤️ @haoyongdong

这个所涉及的「支持运行时加载TTL Agent #169」（即使只用在测试场景），
个人觉得优先级高。💪

实现思路已经想得差不多了
反馈Issue也比较多
参见上面内容及其相关已有Issue的讨论

DarknessTM · Answer 8 · Wed Apr 19 2023 13:13:50 GMT+0800 (China Standard Time)

SkyWalking目前在SpringCloudGateway中的问题较多，如果TTL能成为SW的上下文进程内容器就好了

nantian · Answer 9 · Mon May 15 2023 14:34:24 GMT+0800 (China Standard Time)

如果测试应用使用了自定义加载器会导致切入异常，所以看到了TTL

嗯嗯 ❤️ @haoyongdong

这个所涉及的「支持运行时加载TTL Agent」（即使只用在测试场景），个人觉得优先级高。💪

实现思路已经想得差不多了

反馈Issue也比较多
参见上面内容及其相关已有Issue的讨论

大佬，能简单说下实现的的思路吗？我们自己内部也在尝试

李鼎 · Answer 10 · Tue May 16 2023 16:08:39 GMT+0800 (China Standard Time)

能简单说下实现的的思路吗？我们自己内部也在尝试

@cxntsh 实现的的思路，在上面 issue 的正文中，有一些说明：

通过ConcurrentWeakMap存储类实例与capture的关联替代在已有的类上新增capture字段

这样的方案，不会给要增强的类新增字段（即不改变的类结构），从而Agent可以在运行时增强已有的类；

但会增加GC负担，考虑只在运行时加载TTL Agent时使用这个方案。

saoxuequ · Answer 11 · Fri May 26 2023 17:54:53 GMT+0800 (China Standard Time)

hi @oldratlee !我正在尝试基于 master 实现如下功能：

通过ConcurrentWeakMap存储类实例与capture的关联替代在已有的类上新增capture字段

这样的方案，不会给要增强的类新增字段（即不改变的类结构），从而Agent可以在运行时增强已有的类；

但会增加GC负担，考虑只在运行时加载TTL Agent时使用这个方案。

但是当我在执行测试的时候发现代码不能正确的运行，请问 master 分支代码当前是处于不可正常运行状态吗？

李鼎 · Answer 12 · Tue May 30 2023 04:22:40 GMT+0800 (China Standard Time)

请问 master 分支代码当前是处于不可正常运行状态吗？

master分支在持续集成且通过的。

因为在开发中（加新功能、去老逻辑），功能实现可能有不完整。

发现具体问题，开独立 issue 反馈吧 ❤️ @saoxuequ

如果目标是上生产环境，则基于2.x分支的稳定版本开发实现吧～ @saoxuequ

PS：
如果方便，推荐FORK实现开放，也方便大家具体查看排查&反馈优化。 ❤️ @saoxuequ

hxd123456 · Answer 13 · Tue Jul 11 2023 21:17:12 GMT+0800 (China Standard Time)

如果测试应用使用了自定义加载器会导致切入异常，所以看到了TTL

嗯嗯 ❤️ @haoyongdong

这个所涉及的「支持运行时加载TTL Agent」（即使只用在测试场景），个人觉得优先级高。💪

实现思路已经想得差不多了

反馈Issue也比较多
参见上面内容及其相关已有Issue的讨论

大佬，请问这部分的实现现在有代码示例了吗？

我想通过使用ttl代替skywalking中的threadlocal作为上下文传递，
然后按照 #226 中所说先加载ttl agent，再加载skywalking agent，
尝试实现无侵入的全链路传递链路数据

ashinewu · Answer 14 · Wed Dec 13 2023 15:03:33 GMT+0800 (China Standard Time)

@oldratlee 大佬，估计什么时候能完成kotlin协程的支持。现在kotin协程在后端用的越来越多啦！感谢大佬！

李鼎 · Answer 15 · Wed Dec 13 2023 16:58:01 GMT+0800 (China Standard Time)

估计什么时候能完成kotlin协程的支持。现在kotin协程在后端用的越来越多啦！感谢大佬！

嗯嗯，Kotlin与Kotlin协程两者都超赞 🚀 要一等公民高优支持。

Kotlin协程有些复杂，要花些时间理解与实现。
@ashinewu 有兴趣来实现吗？💗 😄

alibaba / transmittable-thread-local

TTL v3 project management

关于`TransmittableThreadLocal(TTL)` v3

🚧 `TransmittableThreadLocal(TTL)` v3 在开发中（在`master`分支），还没有发布。

TTL core

API 不兼容升级

`Transmittance/CRR`分离成独立包（成为一个小框架）

TTL Agent

✨🆕 `TTL Agent`模块化

`TTL Agent`的扩展机制

✨ `TTL Agent`支持运行时加载生效

配置体验优化

`Agent`字节码实现

测试

文档

`ttl2-compatible`的实现成代理到`TTL3`

生态集成支持

🆕✨ `Kotlin`支持

🆕✨ `Spring/SpringBoot`集成

Misc

优化（如性能）

TTL v3 project management

关于TransmittableThreadLocal(TTL) v3

🚧 TransmittableThreadLocal(TTL) v3 在开发中（在master分支），还没有发布。

TTL core

API 不兼容升级

Transmittance/CRR分离成独立包（成为一个小框架）

TTL Agent

✨🆕 TTL Agent模块化

TTL Agent的扩展机制

✨ TTL Agent支持运行时加载生效

配置体验优化

Agent字节码实现

测试

文档

ttl2-compatible的实现成代理到TTL3

生态集成支持

🆕✨ Kotlin支持

🆕✨ Spring/SpringBoot集成

Misc

优化（如性能）

关于`TransmittableThreadLocal(TTL)` v3

🚧 `TransmittableThreadLocal(TTL)` v3 在开发中（在`master`分支），还没有发布。

`Transmittance/CRR`分离成独立包（成为一个小框架）

✨🆕 `TTL Agent`模块化

`TTL Agent`的扩展机制

✨ `TTL Agent`支持运行时加载生效

`Agent`字节码实现

`ttl2-compatible`的实现成代理到`TTL3`

🆕✨ `Kotlin`支持

🆕✨ `Spring/SpringBoot`集成