登陆注册
13232300000001

第1章 前言

什么是大数据

最早提出“大数据”时代来临的是全球知名的咨询公司麦肯锡。麦肯锡公司称:“数据已经渗透到每一个行业和业务领域,成为重要的组成部分之一。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

2008年9月,《自然》杂志推出了封面专栏——“大数据”,内容讲述了数据在生物、物理、工程、数学及社会经济等多方面学科所占据的位置和角色的重要性。

如今,“大数据”这个词汇俨然成了工商界和金融界的新宠。在哈佛大学担任社会学教授的加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程。无论学术界、商界还是政府,所有领域都将开始这种进程。”

说到这里,还是有人对“大数据”不明所以:到底什么是大数据?

“大数据”是从英语"Big Data"一词翻译而来的。“大数据”这一概念在近几年逐渐被人们所熟知,并为全球各大企业所重视。简单来说,“大数据”是一种巨量资料库,可以在合理时间内达到撷取、管理、处理并整理为帮助公司、企业经营和决策的资讯信息。

随着云时代的悄然到来,“大数据”渐渐得到了越来越多的企业关注。后来,业界将“大数据”概括成四个V,即大量化(Volume)、多样化(Variety)、快速化(Velocity)和价值化(Value)。

大数据不仅是量大而已

“大数据”的量到底有多大?根据2012年3月的一份调查结果显示:在短短的一天之内,互联网产生的资料内容可以刻满1.68亿张DVD;发出的社区帖子高达200万个,相当于《时代》杂志770年的文字数量;发出的邮件高达2940亿封,相当于美国两年的纸质信件数量;卖出的手机为37.8万台,高于全世界每天出生的婴儿数量37.1万……

截止到2012年,数据量已经从TB级别跃升到PB、EB乃至ZB级别。(1024GB=1TB,1024TB=1PB,1024PB=1EB,1024EB=1ZB)。国际数据公司(IDC)经过详细的调查研究,得出一个结论:2008年,全球产生的数据量为0.49ZB;2009年的数据量为0.8ZB;2010年的数据量为1.2ZB;2011年的数据量更是持续增长,竟高达1.82ZB。这个数据量,相当于全世界的每个人产生200GB以上的数据。可见,大数据的信息量有多大。

IBM公司称,截止到2013年10月,全世界所获得的数据中,有90%都是过去两年内产生的。预计到2020年时,全世界所产生的数据规模将达到今天的44倍。

当然了,“大数据”不仅是量大而已,它还具有多样化、快速化、价值化等优势。

多样化:数据的类型繁多。这种特质也让数据被分为两部分—结构化数据和非结构化数据。相对于以往那些以文本为主的结构化数据,非结构化数据越来越多,包括日志、图片、音频、视频、地理位置信息等。

快速化:处理的速度快。这是大数据区分于传统数据挖掘的最明显的特征。根据IDC的一份名为“数字宇宙”的报告,预计到2020年,全世界的数据使用量将高达35.2ZB。在如此浩瀚的数据面前,处理数据的效率快慢决定了企业生命的长短。

价值化:价值密度低。价值密度的高低与数据总量的大小成反比。

我们来举个例子:一部时长为一小时的视频,在持续不间断的监控中,有用的数据仅仅有那么一两秒而已。因此,如何通过强大的计算方式迅速地完成数据的价值“精纯度”,已成为目前“大数据”背景下需要解决的难题。

大数据—潜藏的金库

随着技术的革新,我们已经踏进大数据时代,而数据背后潜藏着巨大的商业机会,值得我们去挖掘。

根据技术研究机构IDC的研究结果可知,近年来,大量的新数据无孔不入,它们以每年50%的速度在增长。或者说,它们每两年就要翻一番,完全超出人们的预料。

事实上,我们生活的方方面面,都会因大数据的存在而发生变化。如消费习惯、兴趣爱好、人际关系,以及整个互联网的走向与潮流等,都将成为IT行业所关注的重点。当然了,这一切的获取和分析都与大数据息息相关。

我们不能说数据的圈子越来越大,而是全新的圈子越来越多。比如,全世界有数不清的数字传感器依附在汽车、工业设备、电表和板条箱上,它们能准确地掌握方位、温度、湿度、运动、振动,以及大气中的化学变化。

从一方面来说,大众媒体基础上的大数据挖掘和分析,将衍生出令人意想不到的应用;从另一方面来说,基于数据分析的营销和咨询服务也正在崛起。这些专注于数据挖掘和数据服务的公司,将成为IT行业乃至互联网服务业中的新兴力量。

以往,只有像谷歌、微软这样的全球化公司能做关于大数据的深挖和分析。但现在,大数据偏向平民化,让越来越多的IT公司有机会进入这个领域。也因此,大数据领域有了不同的数据分析和服务,促使人们不断地创新商业模式。比如在一分钟内,用户就会在Facebook(脸谱网)上发布近70万条信息;在一分钟内,用户会在Flicker(雅虎旗下图片分享网站)上传3125张照片;在一分钟内,用户就会在YouTube(世界上最大的视频网站)上点击200万次观赏……

铁一般的事实告诉互联网从业人员,这些庞大数字意味着一种全新的致富手段。可以说,它的价值不可估量。

虽然在目前来说,大数据在中国还处于初级阶段,但是它的商业价值已经告诉人们—凡是掌握大数据的公司,就相当于站在“金库的门口”。基于数据交易产生的经济效益和创新商业模式的诞生,能帮助企业进行内部数据挖掘,以便更准确地找到潜在客户,从而降低营销成本,提高企业的销售利润。

百分点信息科技的联合创始人苏萌曾说过:“未来,数据可能成为最大的交易商品。但数据量大并不能算是大数据,大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此,大数据的价值是通过数据共享、交叉复用后获取的最大的数据价值。”在他看来,未来,大数据将会如基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。

据一项统计结果显示:截止到2012年10月,大数据所形成的市场规模在51亿美元左右。到了2017年,此数据预计会上涨到530亿美元。

由此,可见“大数据”的价值所在。

改变思维模式,用数据说话

近几年,“大数据”变成了香饽饽,成为各大企业、公司、媒体甚至是学者都津津乐道的东西。他们有着不同的见解和理论,唯一相同的观点就是—大数据时代对人类有着至关重要的影响,甚至即将成为改变未来社会的重要力量。

然而,大数据究竟改变了什么呢?在人们的脑中,这个问题仍然是一个乱糟糟的毛线团,想要找到毛线的一头,却又不知道从哪里入手。

在“第五届中国云计算大会”的第二天,中国电子学会云计算专家委员会候任主任委员、中国科学院院士怀进鹏发表了一篇演讲,题为《大数据及大数据的科学与技术问题》。在演讲中,他表示:“大数据的发展可能会改变经济和社会生活,可能会改变科学研究的途径,甚而改变人类的思维方式。”

我们可以来举一个简单的例子:

苹果公司创始人史蒂夫·乔布斯在罹患癌症后,不惜花费巨额抽取了全身的DNA信息。这样一来,医生就可以根据他全身的DNA信息来判断癌细胞的变化,从而对症下药。然而,对于普通的患者来说,是拿不出巨额钱款来做这种抽取检测的。换句话说,医生只能从普通患者身上提取很小的一部分DNA信息。两者的治疗效果有多大差异,可想而知。

对此,或许你还有疑问,大数据真的能获得最全面的信息,能够找到信息的源头和结果吗?

我们再来举个简单的例子:

如果你上淘宝,登录支付宝账户,点开电子对账单,你是不是能够看到自己一年的消费曲线图?是不是能够看到每个月的支出和收入?是不是能够看到自己的钱花到哪里去了?是不是比拿笔记账清晰和准确得多?根据网络购物的数据中,你还会发现:哪个城市的男人比女人购买的东西还要多;哪个城市的人用支付宝缴纳水电费的频率最高;什么星座的男性或女性在某年的消费额最高;在一年里,在父母或亲友身上花费了多少;节假日时,什么东西最畅销……

这样庞大的数据分析,在过去单一的小数据时代根本无法做到,甚至想都想不到。大数据专家维克托·迈尔-舍恩伯格在《大数据时代》中是这样解释的:云计算在获取海量数据的同时,也带来了数据的混杂性,这会给传统的数据分析带来一些困扰。在以往,我们习惯于由数据得出具体结果。而在大数据时代,我们应当关注的是数据之间的相关关系,而不是数据之间的因果关系。

数据之间的相关关系可以帮助我们捕捉现在的线索和预测未来。如A和B的情况经常一起发生,那么只要注意到B情况发生,就能预测A的情况是怎么样的。这种“A和B”的关系在零售行业和IT行业中已被广泛运用。7-11便利店通过分析零售终端的数据,得出了这样的一个相关关系—温度低于15摄氏度,暖宝宝的销售量便增加5%。于是,只要温度低于这一度数,7-11便利店内的暖宝宝就会上架;豆瓣电台会推荐一些你可能会喜欢的音乐;当你在当当网买某本书后,系统就会提醒你—购买这本书的人中,有30%也购买了另外一本书……

这些结论或预测,都是基于大数据分析而来的。当然了,大数据也为我们带来了另一种生活方式,那就是还有更多的事物都可以数据化。通过对关键词的分析和搜索,我们可以看到购物的习惯被数据化、人际关系被数据化、社会热点和考试重点的走向也被数据化。这些数据可以导出商业潜能,更能导出社会走向。

阿里巴巴创始人马云敏锐地捕捉到大数据的巨大潜能。在2012年,他提出大数据战略,通过资源共享与数据互通创造商业价值。在每年一度的“双十一”销售热潮中,阿里巴巴以云计算为基础的数据服务,对数以亿万计的消费者需求信息进行详细地捕捉,并帮助电商随时调整销售决策。

的确,大数据的出现,不仅改变了人们的思维方式,还让更多的企业和社会决策有足够的力量和依据—以数据说话。

同类推荐
  • 企业经营决策与管理综合实训

    企业经营决策与管理综合实训

    本书以企业经营管理为背景,内容涵盖了战略管理、财务管理、会计学、市场营销、生产运作管理、人力资源管理等众多专业的基础理论知识,并延伸到企业设立等相关领域。
  • 没有如果,只讲结果:打造不找借口的一流执行者

    没有如果,只讲结果:打造不找借口的一流执行者

    任何以“如果”开头的理由都没有价值,因为执行要的就是结果。想在竞争激烈的职场中有所发展,就必须牢记,拿出结果的人,才是最有能力的人,不找任何借口,全力以赴取得结果才是最重要的。
  • 从私生子到千古一帝:秦始皇的经营哲学

    从私生子到千古一帝:秦始皇的经营哲学

    在中国历史上,最为杰出的帝王首推秦始皇。他功勋卓著、饱受争议;他“奋六世之余烈”,剪灭群雄,一统天下;尔后,又北逐匈奴,南取百越,拓展大一统帝国的疆土。他锐意改革,统一文字,规范货币和度量衡,修筑四通八达的驰道,废除分封制,把秦国原有的郡县制推向全天下,奠定了统一的多民族国家行政建制。他推崇法家,依法治国,建立起一套完善的封建政治、军事、经济制度,这套制度影响了中国两干多年的封建历史,有的制度经过改革后,沿用至今。他的雄才大略令人惊叹!创业难,守业更难,要把祖宗或父辈创立的基业发扬光大,做到古往今来独一无二的境界则难上加难,秦始皇做到了,因此,他无愧于“千古一帝”这个称号。
  • 许三多精神:打造不抛弃不放弃的优秀员工

    许三多精神:打造不抛弃不放弃的优秀员工

    培养“不抛弃、不放弃”的王牌员工,缔造“士兵突击”式的超战斗力团队,铸就“钢七连”式组织的全套落实方案。“许三多精神”折射出许多正在被国内外优秀企业、员工成功实践的职业理念。在商业伦理和社会价值观日趋功利化的时代,这本书提供了一种关于企业和个人全面和谐成长的、多赢的生存哲学。
  • 认识管理

    认识管理

    本书是一部基于研究且具有高度可读性、创新性、实用性的教材,被全球数百所高校所采用,是美国大学管理原理课程采用量最多的教材。第4版综合了众多教师、学生和其他读者的有效反馈,使其在结构、内容和技术运用上趋于尽善尽美,受到读者的热烈推崇。本书分为6篇16章,将为什么要成为管理者、管理者的职责以及管理理论背景放在第一篇,将管理环境的变化和全球化管理动态放在第二篇,使读者在心理和认识上做好充分的准备,然后才在后面四篇分别介绍管理的四大职能:计划、组织、领导和控制。
热门推荐
  • 溅血忠魂

    溅血忠魂

    六个人物!四个家族!私仇何了?道义何存?战争何在?历史的车轮将驶向何方?
  • Beasts and Superbeasts

    Beasts and Superbeasts

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。
  • 王妃轻点撩

    王妃轻点撩

    二十一世纪国际刑警,却在执行任务时被人所杀而穿越为镇国将军庶出二女儿。为替师傅报仇,她隐藏实力深入虎穴,做了承王妃。珠胎暗结时,却不想承王终是为其兄,负弃她……追妻之途披荆斩棘。失而复得,为护妻子周全,他终是下决心谋位……【情节虚构,请勿模仿】
  • 岁月无声

    岁月无声

    在一个边远的西部小城,马卫国、四化、铁头三个高中生正享受着成长的快乐与烦恼。青春年少的他们肆无忌惮地挥霍着过剩的精力,流行音乐、武侠小说是那个年代留在他们脑海中最深的记忆。一个叫杨朵朵的北京女孩的到来改变了一切,马卫国沉迷于她的天使般的美丽公主般的高傲大都市赋予她的时尚和见多识广。他跟踪杨朵朵却被发现了,从而得以进入白雪公主的闺房,就像白雪公主和七个小矮人一样成为朋友,并开始接受音乐的启蒙……
  • 腹黑王爷的懒惰妃

    腹黑王爷的懒惰妃

    穿越前她是个卧底,因为一次任务失败被发现而丢了性命,结果穿越到相府小姐身上。一次意外让她遇上他。,结果她居然对受伤的他无动于衷,见死不救。他发誓一定要找到这个女人,这个女人居然敢这么对他。很好……这个仇他记住了……
  • 遇见幸福的自己

    遇见幸福的自己

    在全球大变化和激烈的经济挑战下,在焦虑和机遇并存的情况下,有更多的人在寻找答案迫切地寻找着可靠的指引方向,这种迫切度远甚于以往任何时期。我们不会被目前的不稳定性所打倒或者因此而泄气,如果你想改变自己的处境,重新开始,那么本书会为你提供希望以及前进路途中的详细指引。面向所有怀揣梦想的人们,作者在本书中结合自己的成功经历,将所有的成功要素归纳在寻找幸福的人生课程当中,为你指明实现梦想的道路。
  • 小说卷(冰心儿童文学全集)

    小说卷(冰心儿童文学全集)

    本书对已出版的原《冰心儿童文学全集》进行重新改版,加进大量插图,版式更新颖时尚。内文按散文、诗歌、小说进行分类,使之更清晰更系统。
  • 穿越农家,拐个王爷当夫君

    穿越农家,拐个王爷当夫君

    夏兮桔本是现代中医世家的传人,从小到大,有家族的庇护,她一路顺风顺水,没有一点挫折的她仿佛连老天爷都嫉妒了,年纪轻轻就殒了命,还穿越成了古代农家的一个新婚寡妇。被指克夫命的她处处受挫,娘家弃她如草芥,夫家当她是牛马。她忍气吞声,终脱离苦海,待有朝一日,锦衣加身,引来无数近亲远戚。她冷笑一声,大手一挥:关门,放狗。有钱的日子过的好不惬意,走在街上都能顺便救个大美男,本以为救人一命胜造七级浮屠,却没想到,浮屠还没造成,自己就先引来了杀身之祸。情节虚构,请勿模仿
  • 剑门飞雪

    剑门飞雪

    江湖上有一个门派叫做飞雪剑门,飞雪剑门之下有两个分支,分别为金钱帮和权力帮,两个分支在飞雪剑门门主的统领下相互合作,彼此信任,用通过追杀罪犯领取的官府赏金救济流民,用为官得到的权力彻查冤案,惩治腐败。然而当飞雪剑门的老一任门主退隐,新任门主接任之后,金钱帮帮主却妄图吞并权力帮,从而整合飞雪剑门,将金钱和权力都据为己有。所以在飞雪剑门制造了一系列的暗杀行动,也对权力帮多方为难,新任门主需要在短短一个月的时间之内彻查所有疑团,诛杀金钱帮主,恢复飞雪剑门原有的秩序!
  • 花开亦落

    花开亦落

    因为情动,樱花仙子被花帝罚下凡间,渡劫后才能重返花界。这一世,她是乱世中宁国相府的千金小姐,却突然离奇死亡,幸得高人施术,为她拘来后世之魂,被封印了后世记忆,获得重生。从此,她的生活发生了太多变化。看尽世间万象的辛酸,夹杂生离死别的爱恨情仇,卷入激烈的神魔之争,颠沛流离于世间。人生如花儿一般,有极盛也有衰败。辗转在这乱世红尘里,天上地下,便如那一树短暂开放的樱花,灿烂之后,便凋落而去。年年如期,年年如斯。只是不知道,谁还记得,那名如樱花般的女子?爱恨纠葛,如何解开……