Uber开源整合Prometheus的大规模指标平台M3,,M3能每秒聚合5亿个

原标题：Uber开源整合Prometheus的大规模指标平台M3

由于旧有的监控系统已经不敷使用，现存的解决方案又没有适用的，因此Uber只好自己打造整合Prometheus的大规模指标平台M3，而现在开源给大家使用。M3能每秒聚合5亿个指标，并且以每秒2,000万笔的速度持续永久保存这些...

由于旧有的监控系统已经不敷使用，现存的解决方案又没有适用的，因此Uber只好自己打造整合Prometheus的大规模指标平台M3，而现在开源给大家使用。M3能每秒聚合5亿个指标，并且以每秒2,000万笔的速度持续永久保存这些结果。

M3是Uber从2015年才开始发展的专案，而在这之前，Uber所使用的是基于监控工具Graphite的系统，所有服务、基础设施和伺服器都会将指标发送至这个系统中，而Graphite系统会将这些资料以Whisper档案格式，储存到分片Carbon丛集。在其他功能上，仪表板功能使用Grafana，而警示功能采用Nagios，并通过来源控制脚本发出Graphitee閾值检查。

这个系统已经使用了一段时间，但是在扩充上却遇到了瓶颈，Uber提到，扩充Carbon丛集需要经过手动再分片的程序，而且由于缺乏复本，因此任何一个单一的节点硬盘损坏，都会造成相关指标资料永久性的遗失。最终，这个系统已经无法满足Uber的需求。

采用新的监控系统势在必行，但是Uber评估完现有的开源替代方案后，无论是在资源的效率和规模目标上，或是作为自助服务平台运作，没有任何现存专案能够符合需求，所以Uber只好自己量身订做一个适合自家应用的系统。

最一开始的M3，皆采用开源专案元件组合而成，像是用于聚合指标的Statsite，或是用于时间序列储存具备Date△Tiered△Compaction△Strategy的Cassandra，以及用于索引的ElasticSearch。但随着系统发展，基于营运负担和成本效率，加上不断增加的功能集，现在M3里这些部分的功能都超越原本使用的专案。

Uber从2015年释出M3至今，目前拥有超过66亿个时间序列，每秒聚合5亿个量测指标，并以每秒2,000万笔资料的速度将结果储存到全球各地，接着在区域使用分散式Quorum机制，将资料分成三份永久储存。M3给予工程师极大的灵活度，可以设定量测指标的储存政策，以不同长度的时间保存不同粒度的资料，这项设计能让工程师或资料科学家，能以不同留存规则智慧地储存时间序列，像是工程师可以指定应用程序标签为mobile_api与终端标签为已注册的所有指标，以每10秒粒度指标资料储存30天，同时一小时粒度指标储存5年。

对于M3的使用者来说，能和监控系统Prometheus搭配使用是一件很重要的事，无论是将Prometheus的指标输出，供其他应用程序读取使用，或是使用node_exporter与其他第三方Prometheus指标输出器进行系统监控。而且有鉴于Uber多个团队早已经大量的使用Prometheus，因此开发团队也积极将M3与Prometheus整合，允许这些团队能全球查询M3中永久指标资料。

而且根据过往的系统使用经验，Uber赋予M3一些特性，M3能够最佳化指标供作管线的每一个部分，最大化储存空间，同时也会高度压缩资料，减少硬件支出成本。由于多数的资料为一次写入不再读取，M3系统会尽量管理这些资料使用记忆体，维持精简的记忆体占用，以避免记忆体成为系统瓶颈。

随着M3平台释出，Uber也同时释出了M3的可扩展储存后端M3DB，这是分散式时间序列储存，并具备可配置无序写入的反向索引。另外，也发布了周边应用M3 Coordinator，可在M3DB丛集上提供全域查询和储存介面。

橙山网（Csnd.net）简评：M3能每秒聚合5亿个指标，并且以每秒2,000万笔的速度持续永久保存这些...由于旧有的监控系统已经不敷使用，现存的解决方案又没有适用的，因此Uber只好自己打造整合Prometheus的大规模指标平