加入收藏 | 设为首页 | 会员中心 | 我要投稿 信阳站长网 (https://www.0376zz.com.cn/)- 基础存储、混合云网络、云安全、数据仓库、大数据!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

能识别驾驶员状态行为的监控系统

发布时间:2021-02-01 13:23:16 所属栏目:传媒 来源:互联网
导读:Hmaster master 节点的主要职责如下: 1. 为 RegionServer 分配 Region 2. 维护整个集群的负载均衡 3. 维护集群的元数据信息,发现失效的 Region,并将失效的 Region 分配到正常RegionServer 上当 RegionSever 失效的时候,协调对应 Hlog 的拆分 HRegionServ

Hmaster

master 节点的主要职责如下:

1. 为 RegionServer 分配 Region

2. 维护整个集群的负载均衡

3. 维护集群的元数据信息,发现失效的 Region,并将失效的 Region 分配到正常RegionServer 上当 RegionSever 失效的时候,协调对应 Hlog 的拆分

HRegionServer

HRegionServer 内部管理了一系列 HRegion 对象,每个 HRegion 对应 Table中的一个 ColumnFamily 的存储,即一个 Store 管理一个 Region 上的一个列族(CF)。每个 Store 包含一个 MemStore 和 0 到多个 StoreFile。Store 是 HBase 的存储核心,由 MemStore 和 StoreFile 组成。

HLog

数据在写入时,首先写入预写日志(Write Ahead Log),每个 HRegionServer 服务的所有 Region 的写操作日志都存储在同一个日志文件中。数据并非直接写入 HDFS,而是等缓存到一定数量再批量写入,写入完成后在日志中做标记。

MemStore

MemStore 是一个有序的内存缓存区,用户写入的数据首先放入 MemStore,当 MemStore 满了以后 Flush 成一个 StoreFile(存储时对应为 File),当 StoreFile 数量增到一定阀值,触发 Compact 合并,将多个 StoreFile 合并成一个 StoreFile。StoreFiles 合并后逐步形成越来越大的 StoreFile,当 Region 内所有 StoreFiles(Hfile) 的总大小超过阀值(hbase.hregion.max.filesize)即触发分裂 Split,把当前的 Region Split 分成 2 个 Region,父 Region 下线,新 Spilt 出的 2 个孩子 Region 被 HMaster 分配到合适的 HRegionServer 上,使得原先 1 个 Region 的压力得以分流到 2 个 Region 上。

Region 寻址方式

通过 zookeeper.META,主要有以下几步:

1. Client 请求 ZK 获取.META.所在的 RegionServer 的地址。

2. Client 请求.META.所在的 RegionServer 获取访问数据所在的 RegionServer 地址,client 会将.META.的相关信息 cache 下来,以便下一次快速访问。

3. Client 请求数据所在的 RegionServer,获取所需要的数据。
 

采用云原生DevOps时最常见的错误

使用太多工具

切换到云原生DevOps后,您将尝试自动执行尽可能多的流程。但是,您不能仅通过添加工具来做到这一点。您必须选择正确的工具,并为您的应用程序做出最佳组合。过度使用工具也将花费您大量的时间和金钱。

这里的另一个错误是,开发人员通常对某个工具过于可靠。但是,DevOps的本质在于团队合作精神和正确做法的实施,这些做法有助于提高生产率和流程。

避免持续监控

虽然在实现管道内进行测试使事情变得更加直接和流畅,但也使它们变得有限而又不完整。另一方面,持续监控可以通过突出显示在测试之后发生的每个故障来优化整个过程。

对安全性不够重视

安全检查可能非常耗时且昂贵。团队通常将安全检查功能视为在CI/CD工作流程中使用的功能。对于DevOps而言,实施一个负责安全性的单独工具是至关重要的举措,它可以避免并避免该过程中的任何漏洞。

(编辑:信阳站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读