脸书开源可扩展且容错的分散式日志系统LogDevice,,LogDevice能

原标题：脸书开源可扩展且容错的分散式日志系统LogDevice

脸书（Facebook）通过GitHub开源LogDevice，LogDevice是一个分散式的日志系统，负责储存并交付日志。LogDevice能提供大规模高可靠性的各类型日志，其拥有灵活可调校的能力，能对每个使用案例进行最佳化，让使用者在耐...

脸书（Facebook）通过GitHub开源LogDevice，LogDevice是一个分散式的日志系统，负责储存并交付日志。LogDevice能提供大规模高可靠性的各类型日志，其拥有灵活可调校的能力，能对每个使用案例进行最佳化，让使用者在耐久性与效率，还有一致性与可用性之间，相互权衡取舍。

LogDevice提供了多种类型的日志格式，并且使用一种称为非确定性分散记录放置（Non-deterministic△Decentralized△Record△Placement△）技术，即便丛集中的某些节点严重发生问题，LogDevice依然能提供低延迟、高可用性与一致性的资料写入服务。与其他分散式系统类似，LogDevice会在不同的机器上储存每笔纪录的副本，来达到耐久性要求，通过这些副本的放置选项，在丛集中的许多储存节点发生故障、速度缓慢或磁碟空间不足，只要丛集中部分节点继续运作，LogDevice仍然可以完成高效能写入工作负载。

使用者还可以通过分散单一日志，写入到所有可用节点以舒缓写入速率的高峰，相反的，当特定日志仅限于使用几个特定节点，则单个日志的最大资料吞吐量，将受这些节点能力限制，在这之中如果又有节点故障，就可能导致部分日志所有写入失败。

虽然LogDevice设计中并没有主节点存在，但是却能提供存在主节点设计相同的灵活度。脸书把日志纪录的顺序和实际纪录副本的储存脱钩，LogDevice会执行定序器（Sequencer），对要附加到日志上的每笔纪录给出单向递增序号。一旦纪录有了序号，该笔纪录的副本就可能被存放在丛集上的任何节点，开发团队也对存取这些副本做了特殊处理，使得副本放置的方法，并不会影响后续读取者查看该日志纪录的顺序。定序器可以在任何方便的机器执行，包括储存节点、专用于排序的节点，或是只有执行功能的节点。

脸书的LogDevice的日志储存在本机硬盘上使用了LogsDB，这是一个写入资料最佳化的储存应用，目的在减少硬盘搜寻的次数，并且维持写入和读取的I/O模式都是有序的。而LogsDB提供的写入最佳化，即便分属不同的档案或是日志，LogDevice在写入资料的时候仍可以维持极高的效率，但这也是牺牲一些存取模式的读取效率换来的。脸书耕耘许久的RocksDB资料库，也在LogDevice派上用场，LogsDB建构在RocksDB之上，是一个基于LSM树的有序耐久键值资料储存应用。

LogDevice日志提供纪录一致性保证，多个写入器可以对同一个日志并行增加纪录，所有这些纪录都能以相同的顺序交付给日志读取者。LogDevice提供内建的资料遗失检测报告功能，当侦测到纪录遗失，LogDevice会递送错误报告给所有相关的读取者。

LogDevice是脸书从头开始设计的日志系统，因此其不只在大规模使用案例中，提供高可靠性和高效率的服务，同时也具高度可调校的特性，能让使用者针对每个案例进行最佳化，并根据需求在耐久性与效率，或是一致性与可用性之间，互做取舍。脸书提到，LogDevice的灵活性可以胜任不少使用案例，包括一般的耐久性写入纪录、分散式资料库的交易日志、事件日志，也可以应用在串流处理、机器学习训练工作管线中或是复制状态机等。

橙山网（Csnd.net）简评：LogDevice能提供大规模高可靠性的各类型日志，其拥有灵活可调校的能力，能对每个使用案例进行最佳化，让使用者在耐...脸书（Facebook）通过GitHub开源LogDevice，LogDevi