-
打破数据统一的七大原则
所属栏目:[大数据] 日期:2018-04-13 热度:92
数据统一在数据分析领域里是个长期的挑战,从事数据分析的从业者希望在数据分析之前,来自不同实体的数据能够在同一个地方呈现出来。数据统一由七部分组成:1、获取数据 2、清洗数据 3、转换数据、4、模式集成 5、重复数据删除、6、分类 7、导出 一般而言[详细]
-
物联网下:大数据属于谁?
所属栏目:[大数据] 日期:2018-04-13 热度:105
数据隐私与访问的讨论在物联网时代变得越来越复杂 在之前一些文章中,我已经警告过一些组织机构机构可能很快就会遭遇数据问题被锁定、赶出或以其他方式禁止访问,以有助于优化未来业务的关键新数据源的可能性。 虽然我相信每个数据驱动的组织机构现在就应[详细]
-
大数据趋势下如何实现NAS存储与容灾备份?
所属栏目:[大数据] 日期:2018-04-13 热度:96
1、数据量暴增,存储市场风云变幻 据IDC预测,全球的数据量正面临一个爆炸性增长,到2020年即将达到44ZB,那44ZB是个什么概念呢? 如果以1KB=1024MB计算,1ZB的数据量换成 128G iPad的高度,可达地球到月球距离的6.6倍。 这些数据中,90%的增量来自于非结构[详细]
-
数据清洗的经验与教训 Data Cleaning
所属栏目:[大数据] 日期:2018-04-13 热度:133
小学的时候我统计过同学里有多少要订课间牛奶:每人分别需要什么口味和什么大小,应收多少钱。最后这份按照座位排序的表格要和一张学号表格按照同学姓名对应起来,并计算每种口味订购数量和每人应收款。过程中我遇到了很多困难,例如有同学订了多种口味,[详细]
-
被大数据遗忘的基础奠基-Log
所属栏目:[大数据] 日期:2018-04-13 热度:51
在大数据时代,Log是关系数据库对计算机行业的伟大贡献,更是基础技术之一。然而在大家热烈讨论GFS, NoSQL,乃至Paxos, LSM tree等词语的时候,Log这个基础技术以及它对大数据行业的巨大贡献却一直以来都被业界所忽略。除了Kafka作者之一Jay Kreps2013年[详细]
-
如何在多系统和网络拓扑中构建高性能模型?
所属栏目:[大数据] 日期:2018-04-13 热度:145
这个文档和附带的脚本详细介绍了如何构建针对各种系统和网络拓扑的高性能可拓展模型。这个技术在本文档中用了一些低级的 Tensorflow Python 基元。在未来,这些技术将被并入高级 API。 输入管道 性能指南阐述了如何诊断输入管道可能存在的问题及其最佳解决[详细]
-
大数据“喂养”红利下,知识图谱如何走上新道路?
所属栏目:[大数据] 日期:2018-04-13 热度:126
大数据时代的到来,为人工智能的飞速发展带来前所未有的数据红利。在大数据的喂养下,人工智能技术获得了前所未有的长足进步。其进展突出体现在以知识图谱为代表的知识工程以及深度学习为代表的机器学习等相关领域。随着深度学习对于大数据的红利消耗殆尽[详细]
-
服务端开发指南与最佳实战:数据存储技术,MySQL 数据库安全性
所属栏目:[大数据] 日期:2018-04-13 热度:94
数据库的安全性,即保护数据库,防止未经授权或不合法的使用而造成的数据泄漏和更改破坏。因此,保护数据库的安全性的一般方法是设置用户标识和权限控制。 MySQL 权限控制,分为两个步骤。第一步骤,服务器会检查是否允许连接。因为创建用户的时候会加上主[详细]
-
TensorFlow的开源与Hadoop的开源有什么不同?
所属栏目:[大数据] 日期:2018-04-13 热度:188
最近看TensorFlow代码的时候,用Git pull下来最新的master一看,哇好多的更新,然后点击去之前看到一半的cc文件继续看,好多地方都改变了。但是一看Git log,有好多巨大的commit叫什么 Merge commit for internal changes, Merge for github,没有任何的其[详细]
-
最适合Java开发者的大数据工具和框架
所属栏目:[大数据] 日期:2018-04-13 热度:163
当今编程人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,以下列出了Java程序员在过去12个月内一直使用的一些工具或框架,或许会对你有意义。 先来看看大数[详细]
-
新华三成就成都古街老巷的智慧转身
所属栏目:[大数据] 日期:2018-04-11 热度:157
成都,被称作是来了就不想走的城市。在这座舒适、安逸的城市,遍布青砖黛瓦的宽窄巷子和锦里古街则是每一位游客都不能错过的历史文化古迹。锦里古街曾经是西蜀最古老、最具商业气质的街道之一,而诞生于清朝康熙年间宽窄巷子也同样是历史悠久的商业胜地。[详细]
-
大数据时代,何来隐私
所属栏目:[大数据] 日期:2018-04-11 热度:121
数据影响力正在不断增强。网络上的个人信息帮助特朗普赢得了总统竞选,而民众的在线身份一次又一次的让Facebook突破底线。 但由于美国大选以及最近揭露的Facebook数据泄密丑闻,不仅引来了联邦贸易委员会的调查,还让在线消费者和立法者对数据在我们生活中[详细]
-
杨元庆雷军两会看好人工智能
所属栏目:[大数据] 日期:2018-04-11 热度:131
人工智能,成为今年全国两会上互联网大咖们关注的热点。3月8日上午,履新全国人大代表的联想集团董事长兼CEO杨元庆,和连任全国人大代表、小米科技董事长雷军共同出席北京代表团全体会议。 杨元庆和雷军发言时,都对人工智能表现极大兴趣,并表示其掌舵的企业将[详细]
-
为防止用户被假冒,Facebook正式部署人脸识别功能
所属栏目:[大数据] 日期:2018-04-11 热度:182
Facebook已经开始面向全球用户推出人脸识别功能,不过由于当地法律限制,欧盟和加拿大的用户将不包括在内。其实在去年12月份,就已经预告称Facebook很快会应用人脸识别功能,一定程度上能够有效防止用户身份被他人假冒。 使用新的人脸识别功能,你能够找到[详细]
-
人工智能的五大思想流派,你支持哪一派?
所属栏目:[大数据] 日期:2018-04-11 热度:144
未来的就业形势还能依靠科技巨头和首席执行官们来决定,而人工智能的未来,依旧充满了太多的不确定性。 这一状况是源自于人工智能及其在科技行业日益增长的存在所带来的不确定性?或者,这是归结于使用人工智能所带来的潜在变化?不管是哪种情况,似乎没有[详细]
-
2018年最值得关注的15大技术趋势:人工智能、区块链、5G……
所属栏目:[大数据] 日期:2018-04-11 热度:171
通常情况下,技术趋势是很难准确预测的,因为预测未来本身就极其困难。但是我们还是可以从2017 年的一些显著的数据指标来推测2018年科技行业的一些发展趋势的。 许多人对科技行业概念的理解过于具体和狭隘了,他们只将如智能手机、无人机等视为科技行业,[详细]
-
AI和大数据2017“成长的烦恼”
所属栏目:[大数据] 日期:2018-04-11 热度:111
人工智能和大数据在2017年的发展遇到了以下10个成长的烦恼,包括:人工智能无IQ标准、人工智能延伸边缘、AI嵌入超算和云计算、大数据风口已过、数据保鲜难等等。 人工智能和大数据在2017年的发展遇到了以下10个成长的烦恼: 1.人工智能无IQ标准 人工智能领[详细]
-
大数据处理框架的类型、比较和选择
所属栏目:[大数据] 日期:2018-04-09 热度:99
前言 说起大数据处理,一切都起源于Google公司的经典论文:《MapReduce:Simplied Data Processing on Large Clusters》。在当时(2000年左右),由于网页数量急剧增加,Google公司内部平时要编写很多的程序来处理大量的原始数据:爬虫爬到的网页、网页请求日[详细]
-
给人工智能降点温:深度学习不是万能良药
所属栏目:[大数据] 日期:2018-04-09 热度:95
近几年,深度学习已经进入一定程度的狂热状态,人们正试图用这个技术解决每一个问题。然而,深度学习真是万能的吗?阅读此文后,你便能够从深层理解为什么深度学习并不是想象的那般神话了。 近日,在深度学习领域出现了一场热烈的争论。这一切都要从 Jeff[详细]
-
AI 也能作曲?谁来定义 AI 的 Freestyle?
所属栏目:[大数据] 日期:2018-04-07 热度:114
美国网红兼流行歌手 Taryn Southern 近日发表了一张名为 I AM AI 的新专辑,成为人类历史上第一支正式发行的AI歌曲。 主打单曲《Break Free》虽然达不到格莱美的标准,但是完全听不出是由应用程序编曲,和音乐人的作品没有太大差别,颠覆了普通人认为AI制[详细]
-
大数据可能“说谎” 非结构化数据将呈现更丰富的世界
所属栏目:[大数据] 日期:2018-04-07 热度:196
在2017年的下半年谈论大数据似乎已经没有什么新意,甚至有些令人生厌了,毕竟这个词在中国已经流行太久,形形色色的产品、平台和公司早已贴满了大数据标签,而真正有价值的创新永远都是少数。 行业对于大数据的认知开始变得更加理性和客观,这是一种成熟的[详细]
-
万能的Python背后:这6大原因让它爆火
所属栏目:[大数据] 日期:2018-04-07 热度:86
Python现在已经成为了一种非常通用的语言了,尤其是在数据科学盛行的今天,因为其易于阅读和编写的特点,更是越来越受到编程者的追捧。在IEEE发布的2017年编程语言排行榜中Python也高居首位。然而事实上,Python的第一个公开版本在1991年就已经发布了,那[详细]
-
解读:大数据分析及其数据来源
所属栏目:[大数据] 日期:2018-04-07 热度:172
当我们谈到大数据分析,首先需要确定数据分析的方向和拟解决的问题,然后才能确定需要的数据和分析范围。大数据驱动的分析主要的挑战不是技术问题,而是方向和组织领导的问题,要确定方向,提出问题,需要对行业做深入的了解。 当然,大数据分析最核心的,[详细]
-
深度学习:远非人工智能的全部和未来
所属栏目:[大数据] 日期:2018-04-07 热度:177
人工智能的这一波热潮毫无疑问是由深度学习引发的,自吴恩达等人 2011 年发表「识别猫」研究后,深度学习及其引发的技术已经在图像识别、游戏等任务中超越人类,并让机器学习技术的应用带入人们的生活。这种 AlphaGo 背后的技术是否是未来人工智能的方向?[详细]
-
通过数据虚拟化 优化数据
所属栏目:[大数据] 日期:2018-04-07 热度:187
大数据就像是从当代数据环境中不断涌现出的丰富的、极度膨胀的资源。如今,不断扩张的物联网、随处可见的移动设备、社交媒体、点击流量、网页以及开放的数据都是导致我们今日数据不断增长的的主要因素。根据IDC-Seagate最近的一项研究显示,截止到2025年,[详细]
