WeBankPartners / open-monitor

Distributed monitoring system based on Prometheus

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

监控数据归档到mysql里

zgyzgyhero opened this issue · comments

背景
Prometheus的Local数据不适合长时间保存,需要一个远程保存监控数据的方式,之前考虑过用opentsdb来做监控数据的远程存储,但考虑到其底层依赖的hdfs+hbase平台较庞大,我们想让用户更轻量更简便地使用open-monitor,于是决定用最普通的mysql来做远程归档存储。

实现
考虑到监控时序数据的量非常大,而且mysql单表存储行数最好不超过1000w,所以采用自动分库分表的方式存储监控数据,每年一个库,每天一个表,项目里的monitor-agent/archive_mysql_tool实现了自动归档写入的功能,monitor-server里界面的图表数据读取也适配了从归档mysql中读取数据的行为。