haoch / flink-siddhi

A CEP library to run Siddhi within Apache Flink™ Streaming Application

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

有没有大量cep规则及大规模事件输入的性能测试用例或某些优化配置实例?

liq05 opened this issue · comments

commented

非常感谢提供如此工具,目前测试发现,有60个cep规则时,事件数量350万时,处理完成需要1小时左右。

请问一下是350万是total 还是 rate?规则上中使用了window吗?

commented

请问一下是350万是total 还是 rate?规则上中使用了window吗?

350万是1分钟内发送的事件总数。规则中使用了window,every。

如何判断是1小时处理完?有没可能是因为window 没有合理的flush 或者every没有正确的匹配上导致数据被保留在内存中了?另外我会看一下性能问题,稍晚回复你。

commented

如何判断是1小时处理完?有没可能是因为window 没有合理的flush 或者every没有正确的匹配上导致数据被保留在内存中了?另外我会看一下性能问题,稍晚回复你。

期待性能测试

链接是siddhi的性能测试结果:https://docs.wso2.com/display/SP400/Performance+Analysis+Results
按理flink-siddhi和siddhi的性能应该差不多才对。

如果使用事件时间,性能不好的原因应该在红框处,即snapshot优先队列。我这边5万/s的数据量,snapshot导致反压特别大,现在只好把它注释掉了,容忍丢数据。不知道@haoch 有没有什么更好的解决方法?
image