实时计算平台架构实践

实时计算平台建设过程中，主要是跟进开源社区发展以及实际业务需求，计算框架经历了Storm到 Spark Streaming到 Flink的发展，同时建设一站式实时计算平台，旨在提升用户实时计算需求开发上线管理监控效率，优化平台管理。

实时计算引擎前期基于Storm和Spark Streaming构建,很多情况下并不能很好的满足业务需求，如商业部门基于Spark Streaming构建的特征平台希望将计算延迟由分钟级降低到秒级，提升用户体验，运维监控平台基于Storm分析公司全量nginx日志对线上业务进行监控，需要秒级甚至毫秒级别的延迟，Storm的吞吐能力成为瓶颈。 同时随着实时需求不断增加，场景更加丰富，在追求任务高吞吐低延迟的基础上，对计算过程中间状态管理，灵活窗口支持，以及exactly once语义保障的诉求越来越多。 Apache Flink开源之后，支持高吞吐低延迟的架构设计以及高可用的稳定性，同时拥有实时计算场景一系列特性以及支持实时Sql模型，使我们决定采用 Flink作为新一代实时计算平台的计算引擎。



 

集群架构

Flink集群采用了ON YARN模式独立部署，为减少集群维护工作量，底层HDFS利用公司统一HDFS Federation架构下建立独立的namespace，减少Flink任务在checkpoint采用hdfs/rocksdb作为状态存储后端场景下由于hdfs抖动出现频繁异常失败。 在资源隔离层面，引入Node Label机制实现重要任务运行在独立机器，不同计算性质任务运行在合适的机器下，最大化机器资源的利用率。 同时在YARN资源隔离基础上增加Cgroup进行物理cpu隔离，减少任务间抢占影响，保障任务运行稳定性。

（编辑：信阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!