加入收藏 | 设为首页 | 会员中心 | 我要投稿 信阳站长网 (https://www.0376zz.com.cn/)- 基础存储、混合云网络、云安全、数据仓库、大数据!
当前位置: 首页 > 站长资讯 > 外闻 > 正文

数据如何帮助加速数字化转型

发布时间:2021-02-10 12:00:07 所属栏目:外闻 来源:互联网
导读:而作为带有日常工具属性的数据安全产品,数据脱敏产品在帮助客户满足合规需求外,还要能够切实解决客户敏感数据在分发、迁移过程中的安全痛点,这点也尤为重要: 面对纷繁复杂业务系统数据,客户需要从中自动、准确地识别出敏感数据,但由于业务系统中数据的

而作为带有日常工具属性的数据安全产品,数据脱敏产品在帮助客户满足合规需求外,还要能够切实解决客户敏感数据在分发、迁移过程中的安全痛点,这点也尤为重要:

  • 面对纷繁复杂业务系统数据,客户需要从中自动、准确地识别出敏感数据,但由于业务系统中数据的复杂程度往往较高,对敏感数据的整理和判断会占用大量的人工资源;而业务系统数据的存储位置也不只是数据库,还有大量的结构化导出及备份文件;这时如果缺乏足够自动化、智能化的敏感数据发现手段,就很可能出现误判、漏判等问题,从而导致数据在迁移过程中发生敏感数据泄露事件。
  • 面对大规模数据脱敏场景,无论客户选择快速搭建1:1仿真测试环境,还是长期维持备份或开发、测试环境所需的实时数据,都对数据脱敏性能提出了较高的要求与挑战。换言之,无论是全量脱敏还是增量脱敏,都可能需要产品能够在数小时内处理完TB级别的数据,而且数据处理过程应尽量自动化、减少人工干预,以便融入真实场景的整个分发流程。

如果单纯从“使用效果”来看,数据脱敏所要实现的不过是将用户真实数据迁移至新环境中,并对敏感数据进行变形、遮蔽等处理,达到数据“敏感性降低、标识化消除”的目的。然而,上述貌似简单明确的需求,如果没有数据安全厂商专业、复杂的技术支撑,非但无法将安全和便捷带给客户,还会在项目交付实施等环节造成一系列问题和麻烦!下面,就让我们针对那些貌似简单的需求,看清其背后的产品、技术需求差异:

一、数据“敏感性识别”能力

针对目标环境中的敏感数据进行发现,是进行数据脱敏公认的前提。然而,对这项技术的应用除必须考察数据脱敏产品的“发现性能和准确度”外,在实际使用过程中还隐藏着对产品更多“深度能力”的要求,这些能力也将决定一款数据脱敏产品能否真正适用于真实复杂的场景:
 

数据安全正处于安全产业的风口,同时也是用户和市场关注的焦点。数据脱敏,看似一个简单易用千人一面的技术领域。但不同产品技术的性能表现和应用价值其实存在巨大差异。

随着我国信息化建设的持续推进,政府、企业乃至个人对数据安全的认知与重视程度不断提升。作为数据安全防护工作的重要一环,数据脱敏技术和产品已作为常规手段,在开发测试环境构建以及数据外发共享等典型场景中被广泛普及应用。
 

关于如何初始化库存?

在抢购活动开始前,有运营人员在后台手动将商品库存从数据库同步到缓存中。库存的扣减在缓存中进行扣减。

利用Redis单线程特性可以实现多线程下安全的库存更新。如果查询缓存中的值时,发现没有,需要从数据库中查询,然后再同步到缓存中,这个过程需要加锁。

示例代码如下:
 

我们获取URI维度的限流器对象uriLimiter,和用户维度的限流器对象userLimiter。如果tryAcquire()成功获得许可,则请求通过,进入后续业务。否则直接报异常,前端界面作相应的友好提示。

在缓存中扣减库存

使用Redis来存储库存数量,当用户发起抢购请求时,先判断Redis中的库存是否可用。如果可用,将抢购请求放入分布式队列中,采用异步方式处理后续操作,并完成下单。同时在Redis中作库存扣减。

示例代码如下:
 

秒杀架构图如上。

客户端

用户发起请求的端口,目前电商项目秒杀活动主要客户端有微信小程序、H5(浏览器)、各平台app(比如Android、iOS、Windows)。我们可以在客户端实现限流机制,这样就可以避免用户发送大量请求到服务端。

客户端的限流可以控制按钮的点击频率,比如对按钮置灰。

反向代理

我们可以使用Nginx实现请求分流,通过负载均衡将请求均匀的分布到不同的Web节点中。

Nginx也可以作为限流使用。Nginx可以控制单位时间内的请求数,限制同一时间的连接数。

API网关

如果实际参与秒杀活动的用户非常大,并发请求非常大。我们就需要在API网关这一层中进行限流,这里可以实现对单个Web节点实现每秒最大请求数限制。

我们也可以控制每个用户的最大请求数,通过Redis记录每个用户的请求数。

缓存

在服务层业务中,为减少对数据库的访问,需要进行缓存设计,我们可以使用本地缓存,或者分布式缓存。

队列

队列主要是用来实现流量的削峰填谷,我们可以使用RocketMQ、Kafka等消息中间件作为分布式的队列。

关于限流

秒杀系统中为什么需要限流?在秒杀活动中商品库存是有限的,而请求的用户数量远远大于商品库存数量。大部分的用户请求实际上是无法抢到商品的无效流量。所以这部分流量可以拦截在上游进行限流。

为了避免用户采用脚本或者频繁点击发送大量请求,而导致其他用户无法正常参加活动,我们也需要控制用户每秒的请求量。

我们可从URI和用户两个方面实行限流。

URI限流示例代码:

(编辑:信阳站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读