监控数据归档到mysql里
zgyzgyhero opened this issue · comments
Gary Zhang (张广意) commented
背景
Prometheus的Local数据不适合长时间保存,需要一个远程保存监控数据的方式,之前考虑过用opentsdb来做监控数据的远程存储,但考虑到其底层依赖的hdfs+hbase平台较庞大,我们想让用户更轻量更简便地使用open-monitor,于是决定用最普通的mysql来做远程归档存储。
实现
考虑到监控时序数据的量非常大,而且mysql单表存储行数最好不超过1000w,所以采用自动分库分表的方式存储监控数据,每年一个库,每天一个表,项目里的monitor-agent/archive_mysql_tool实现了自动归档写入的功能,monitor-server里界面的图表数据读取也适配了从归档mysql中读取数据的行为。