从数量到质量的跨越

发布时间：2021-02-01 13:23:50 所属栏目：传媒来源：互联网

导读：Client Client 使用 HBase 的 RPC 机制与 HMaster、HRegionServer 进行通信。Client 与 HMaster 进行管理类通信，与 HRegion Server 进行数据操作类通信。 Zookeeper Hbase 通过 Zookeeper 来做 master 的高可用、RegionServer 的监控、元数据的入口以及集群

Client

Client 使用 HBase 的 RPC 机制与 HMaster、HRegionServer 进行通信。Client 与 HMaster 进行管理类通信，与 HRegion Server 进行数据操作类通信。

Zookeeper

Hbase 通过 Zookeeper 来做 master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。具体工作如下：

1. 通过 Zoopkeeper 来保证集群中只有 1 个 master 在运行，如果 master 异常，会通过竞争机制产生新的 master 提供服务

2. 通过 Zoopkeeper 来监控 RegionServer 的状态，当 RegionSevrer 有异常的时候，通过回调的形式通知 Master RegionServer 上下限的信息

3. 通过 Zoopkeeper 存储元数据的统一入口地址。

客户端在使用 hbase 的时候，需要添加 zookeeper 的 ip 地址和节点路径，建立起与zookeeper的连接，建立连接的方式如下面的代码所示：

云原生DevOps中的主要技术

如何开始使用云原生DevOps?

以下是开始使用云原生策略的选项：

通过选择云提供商而非本地提供商来实施云优先策略
如果更能满足业务需求，则采用多云策略
拥抱DevOps，这显然是我们在本文中将进一步关注的重点。

当公司意识到敏捷开发既需要自动化又需要文化转变以更快地生产高质量的应用程序时，DevOps就成为当务之急。处理多个混合环境或简化基础架构可能会变得非常复杂。这就是为什么使云原生和DevOps流程保持一致的工具迅速流行的原因。

为了简化云原生DevOps的实现，您需要注意以下几点：

容器化可以创建与环境无关的软件。它还消除了开发人员和运营部门之间的实现冲突，使开发人员和测试人员可以更轻松地进行交流。
从整体转向微服务 也使公司变得更加敏捷。这为开发和运营团队建立了一套工具，术语和流程。借助微服务，您可以获得复杂的流程自动化，并且可以轻松地向敏捷产品开发过渡，而这正是持续交付所需要的。
使用容器编排平台。最受欢迎的是Kubernetes，因为它解决了与基础计算，存储和网络相关的挑战。
自动化CI/CD管道，以减少复杂性和出错的机会。这种自动化可以为开发人员节省很多麻烦。而且，它使他们能够专注于实际产品而不是解决问题。
根据12个因素编写代码还可以使事情更加透明。

从技术角度来看，此类部署通常需要更小的ML模型，这些模型可以快速转移并适合有限的嵌入式设备存储。一种流行的解决方案是在模型中使用量化(降低数值精度)来减小模型的大小。当然，确定正确的量化数量必须与不可避免的准确性降低保持平衡。有关更多信息，请查看我们的珊瑚手语教程，该教程演示在PerceptiLabs中的模型导出过程中使用全整数量化以将权重从32位浮点数减少到8位定点值，以及如何将模型加载到Coral开发板上。

结论

2020年是唱片业的一年，但将被铭记为即使是最艰巨的挑战也要克服的时代。我们希望认为这不仅适用于全球性事件，而且还适用于ML工具，资源和信息的演变和民主化。

虽然我们的主题是2020年，但我们今年的主要预测之一是MLOps的增长。MLOps可以按照MLOps：仅适用于机器学习的"运维"中所述的不同级别采用。

总体而言，这是值得反思的一年，我们期待看到我们对ML的预测在新的一年中得以实现。

（编辑：信阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!