也许是迄今为止最易懂、最实用的大数据类图书!因为,除了本书,再也没有另外一本书让你如此接近中国大数据时代的现在与未来! 本书中用最精简的文字、最详实的案例分析了大数据的特点、原理以及在当下中国各个领域的运用。同时给我们企业与个人提供了新的参考——大数据时代将对中国企业转型提供哪些支持?我们的优势和劣势在哪里?如何将“大数据思维”转化运用到管理、营销以及生活当中的方方面面?我们个人又该如何搭上“大数据”的快车实现商业价值与个人理想? 书中不仅展示了微软、亚马逊、谷歌、Facebook、Twitter等大数据先锋公司最具代表意义的应用案例,也展示了阿里巴巴、腾讯、百度、360、小米等百亿公司在大数据上的中国式突围。 作者简介: 赵伟,著有畅销书《给你一个团队,你能怎么管?》系列等。现为数据培训与咨询公司高级管理人员。他从事管理工作多年,在管理过程中不断学习与研究现代企业的管理模式,对将欧美先进的管理模式、大数据分析方法落地中国有着丰富的实战经验与培训方法。曾为通用电气、丰田、联想、苹果、微软等全球500强企业做过数据分析与管理咨询。 目录: 导读大数据正在改变中国 序大数据在中国 第一章大数据,你还不知道的部分 ◎FB数据单元——信息导航图 ◎核心:整理、分析、预测、控制 ◎大数据先行者 ◎谨慎:不是所有人都需要 ◎棱镜门背后的大数据革命 第二章大数据时代给世界的巨大转型机会 ◎我们能做什么,我们要做什么 ◎反馈经济——新的营销模式在兴起 ◎数据大爆炸——信息过量 ◎全球产业链正面临大调整 第三章中国如何搭上大数据快车? 导读 大数据正在改变中国 序 大数据在中国第一章大数据,你还不知道的部分 ◎FB数据单元——信息导航图◎核心:整理、分析、预测、控制◎大数据先行者 ◎谨慎:不是所有人都需要◎棱镜门背后的大数据革命 第二章大数据时代给世界的巨大转型机会 ◎我们能做什么,我们要做什么◎反馈经济——新的营销模式在兴起 ◎数据大爆炸——信息过量 ◎全球产业链正面临大调整 第三章中国如何搭上大数据快车? ◎中国的大数据现状 ◎追赶者的中国——走到至关重要的十字路口 ◎消除“数据割据”与“数据孤岛” ◎工信部的规划:四项关键技术创新工程 ◎建立大数据政府 第四章中国首批重视大数据的千亿公司 ◎原动力:对信息共享的需求 ◎云计算和大数据 ◎在中国的发展 ◎阿里巴巴:云帝国构想 ◎腾讯:大社交战略◎360:最大数据中心 ◎百度:大数据时代的三层布局 第五章大数据与技术变革 ◎告别小数据时代 ◎数据服务产业链 ◎技术支持与发展 ◎“脚印追踪”——个性化的数据推荐系统 第六章大数据与思维变革 ◎思维数据化——赢在大脑 ◎中国的大数据逻辑:因果关系﹥相关关系 ◎简单优于复杂 ◎可以不精确,必须尽量多第七章大数据与生活变革 ◎云分享与云消费 ◎我们的“私人订制” ◎透明社会——隐私大爆炸 ◎面对数据化生活,你做好准备了吗?第八章大数据与社交变革 ◎颠覆性的社交理念 ◎相关性的力量◎沟通数据化◎社交大数据——新的营销革命 第九章大数据与管理变革 ◎数据说话——更加理性的决策◎信息采集与分析 ◎大数据管理应用——预测和控制 ◎捕捉问题:重点是将要发生什么 ◎政府的角色 第十章每个人的新时代:抓住大数据机遇 ◎你的手机号码比你早一步进入数据化时代◎透明社会,透明的机遇◎观念影响速度:先改变你的头脑◎新的成功模式——赢在利用数据的能力 ◎删除——哪些数据是危险的?◎现在,重要的是预见未来 第十一章掌握大数据,做未来世界的主人! ◎正视现实——无所不在的眼睛◎规避风险——让数据控制一切◎越过障碍——流动性与可获取性◎避开死角——错误的前提会导致错误的结论◎解决问题——定位人的角色附录打开大数据之门追赶者的中国——走到至关重要的十字路口 迈克尔坎特作为美国贸易代表参加了中美入世谈判,后来又担任克林顿政府的商务部长。他数次参与中国的入世谈判,经历了中国入世过程中的关键环节。 对中国的发展,迈克尔说:“我不是什么预言家,我也无法预测。不过,我想中国将永远是世界的一个强国。这是一个好消息。中国使那么多人口脱贫,超过了历史上任何一个国家。中国和美国关系至关紧要,而且需要更加紧密。中国经济将在不久的将来超过美国,成为世界第一大经济体。中国目前正在转变增长模式,提高在全球价值链中的地位。” 在最艰苦的阶段,中国科研领域里许多成绩出色的人离开了祖国,去国外发展,他们觉得中国没有希望了。特别是那些学航天、宇航、飞机制造、现代船舶、发动机等学科的高科技人才,他们中的许多人都选择了离开这个国家。 虽然他们多数人去国外后只能在一些小公司打零工或者当副手,但他们仍然义无反顾地去到了欧美社会。当时的中国没有任何平台给他们施展技术才华,而在国外一个月就能赚到几千元的薪水,这几乎等于国内研究机构干一辈子的全部工资了。 那些当初选择留下来和中国一起成长的人们呢?他们可能不是成绩最好的那批人,没有达到让欧美强国收留他们的标准,但就是这些人,坚定地与自己的祖国站在了一起。事实证明,这些留下来的人和国家一起奋斗,反而成就了一番伟大的事业,选择离开的那批人,则多数在默默无闻中浪费了自己的生命和才华。 这些年,中国经济飞速发展,科技也在快速进步。比如航天、军工、电脑芯片、数控设备、精密加工和卫星导航等国之重器不断研制成功,创造了它们的人也将名留青史。他们牺牲巨大,举世罕见。中国人将在这条充满荆棘的道路上书写他们的故事,为追赶者的中国付出一代又一代人的心血。 和30年前相比,中国已发生了巨大变化,近期的发展目标不再是解决温饱,而是实现全民小康,超越中等发达国家,进而实现民族复兴。这是一个已经持续了一百多年的目标,从近代起中华民族在科技领域就一直在苦苦追赶,新中国成立60多年来,中国正以令人难以置信的速度迅速缩短着与国际最高科技水平的差距。奋力追赶,这是一次全国总动员,是一次全民族的超越战略。在历史上屡次与全球科技革命失之交臂的中国,现在正急迫地呼唤着科技创新。 未来的“中国制造”所面对的,将不再是仅靠价廉即可取胜的低端市场。但是,随着这一进程的加快,中国企业无论是在国内还是国外,都日益感受到了跨国巨头带来的竞争压力。 中国现在走到了一个至关重要的十字路口,我们必须进行产业升级,才能躲开“陷阱”。 更重要的是,随着科学发展观深入人心,中国人越发深刻地认识到,以前单纯依靠加大资本投入、人力投入和物质消耗获得经济发展的模式,不仅面临无法逾越的增长极限,而且过度“透支”将给我们的未来带来深重的无法承受的伤害。而且,这些年来,由金融危机引发的全球经济衰退,也为我们必须加快转变经济发展方式、推动产业结构优化升级提供了更加直观的例证。 现在,中国面临着新的挑战。 ☆产业升级 中国未来的产业布局如何进行,这是摆在中国政府以及有使命感的企业家面前的大问题,也是一项大挑战。为什么必须进行产业升级?因为中国仍然正在走向工业化,还没有真正地完成工业文明的建设(包括信息工业和新科技革命),中国仍是后进学生。这是一段很长的历史时期,因此中国的产业升级已到了关键时刻,也到了新一轮的深层次阶段。 第一,要实现从中国制造到中国创造的转化,而且是要由中国制造走向有更多中国创造元素的中国制造,因为创造是一个基础的产业,制造则是这个产业的基础,两者是统一的而非对立的。 第二,实现产业升级的同时,也要做好产业转型。我们要建立一个强大的工业国家和强大的制造业,让东部和中西部地区平衡发展,而不是把已经拥有的丢弃。正确的做法是将东部产业向中西部迁移,从而为东部地区的产业升级腾出空间。 第三,控制虚拟经济与实体经济的比例,达到良性的平衡。我们要让经济建立在坚固的石头上,而不是沙滩上。石头是制造业,沙滩就是金融等虚拟经济。现在,就连美国这样强大的经济体,也在寻求复兴制造业,促进制造业回流美国,我们难道为了产业升级就可以付出制造业空心化的代价吗?当然不能。 因此,中国在产业升级的时候必须强调工业强国,坚持以制造业为经济基础。在这一点上,大数据有着至关重要的意义,因为它对于一个国家的工业实力有着几何倍级的增升效能,我们完全可以通过大数据技术来提升产能,节约原材料,并且帮助产业升级正常进行。☆人口数量太多和人口结构不平衡 人口红利是一个描述短期利益的经济学术语,中国经济的飞速发展,离不开人口红利的贡献。 这个学术用词也有它令人振奋的积极一面。但是,计算一个民族和国家的长远利益,却需要综合考虑。也就是说,人口过多仍然是中国人口的首要问题,人口结构的失衡也更令我们感到担忧。 随着中国的产业结构升级,我们对劳动力密集型产业的需求逐渐减少,对于劳动力的需求也将从数量转向质量。那么,科学地控制人口就成为了政府的人口工作要面临的任务。在这方面,大数据技术有充足的舞台可以施展。 ☆信息化升级 信息文明也被称为“后工业文明”,它是工业文明的高级阶段。在这一阶段,人将成为技术和信息的主人,使用信息通讯技术来驱动经济社会转型,在产业集聚、工业生产、商业零售、社会生活等各领域都产生全方位的革命性的变化。 中国也正面临信息化升级的重大使命,信息化技术的实现,将导致整个中国工业产业和商业形态发生积极变化,进而使得整个中国经济社会都产生革命性的变革,帮助中国顺利地完成产业升级,向发达国家迈进。 根据预测,到2020年,全球将有500亿个无线设备联入互联网,数量是今天的10倍。全球的无线联网设备将从目前的手机、汽车,延伸到医疗、教育、能源、制造业等领域,一直到全部的终端目标。但是中国还有许多工作要做,比如,中国目前的宽带网速不到韩国的1/10,价格却比国外高出很多,怎样实现宽带投资的提升,加速中国的信息化进程?云计算在世界范围内已蓬勃发展,中国也有相当多的企业在加速布局,并取得了一定的进展,它们应如何更上一层楼,发展出中国的成熟的云计算产业,为大数据时代在中国的开启铺一条宽阔坚固的光明大道?这些都是具体的问题,也都非常重要。 我们的传统产业也具有巨大的升级潜力,信息技术和产业相结合的系统集成,可以对中国的传统产业实施改造,然后实现高附加值的增长,在另一个领域帮助中国的产业进行整体的升级。在新的信息技术推动全球经济发生急剧变革的情况下,如何从全局意义上把握这种形态,实现中国占据全球经济制高点,成为了一项迫切和重大的课题。 ☆社会管理模式升级 社会管理模式是指一个国家的管理体系。我们知道,战争的成效取决于作战的模式,社会管理的成效当然也就取决于社会管理的模式。在任何领域内,“模式”都是科技含量高度集中的地方,是“能量”的重中之重。大数据在社会管理中最大的价值体现,就是对模式的完全创新,它颠覆了人们的习惯,并创造了一种新的高度有效的模式。 不愿放弃过去已经熟悉的做法,这就是习惯的力量。管理就是如此,人们总是不喜欢在管理上进行创新。守旧或有本能的一面,不管是国家、企业还是个人。 耶鲁大学的教授金豪尔说:“什么是现代化?现代化就是有系统地、持续不断地、有目标地运用人类的各种能力控制自然和社会环境,以达到人类的各种目的。”我的解读就是,现代化需要不断地创新,提升社会治理模式,这是人类文明进步的基础。 要提高中国的社会治理水平,就需要改革和更新当前的治理模式。就像在战场上,军队的作战模式随着武器的发展不断进步一样,大数据技术的发展,也使现在的社会治理模式迎来了一场可能是人类历史上最根本性的变革。比如可以在福利、行政、交通、应对突发灾害、维稳等工作范围中使大数据技术发挥更大的作用。 如果说西方国家由于它们雄厚的积累和先发优势,即便国家需要突破某些障碍,也只是面临一两个问题的话,那么今天的中国就是在面临数个“十字路口”,而且不容许犯下任何一丝错误。消除“数据割据”与“数据孤岛” 如果我们把数据比喻成某种资产,在割据状态下,数据市场呈现出来的是这种形态:每个人都躲在自己的房子里闭门造车,收集和增加数据(资产),捂紧口袋,待价而沽。互相之间获得数据是非常困难和缓慢的,中间需要讨价还价、建立信任和足够多的时间成本,而每个数据商(独立的家)就像一座座孤立的小岛。 当我们尝试数据的治理进入到实质阶段时,就会发现有这三个问题在阻碍我们的工作:数据割据、数据孤岛和数据质量。它们既是统一的整体(危害通常一起爆发),又可以在某些阶段单独呈现。 数据割据——因为制度、部门保护主义或小团队利益等人为的因素造成的数据分散的现象; 数据孤岛——因为技术差距和遗留问题等形成的数据分散与无法集中共联的现象; 数据质量——主要包括数据的真实性、完整性和一致性。我们都知道数据质量的好坏直接影响着“数据资产”的价值,但解决却非一蹴而就,需要各方面的综合提升,比如技术、制度、文化等多领域的努力。 数据割据现象更多存在于国家各部门、各地方之间,大型企业也会造成数据割据现象。基于它必将产生的、对于效率的危害,数据割据是我们首先要消除的不良现象,它违背了大数据时代的精神,急需人们拿出解决办法和协作诚意。 具体来说,割据造成的数据孤岛有几个让现代人已经无法忍受的特征: 一、数据使用者(用户)的成本不断叠加,在一项服务中重复支付成本; 二、阻断技术的进步,难以实现产业联合; 三、“跨岛”合作的环节烦琐缓慢,信息共享缺乏实时性。 因此,虽然国内的各行各业都对数据资产充满了向往,将手头的巨量数据转化成盈利,这是一个光明的前景,但人们更担心的则是“数据割据”的现实,它让这个前景蒙上了一层厚厚的阴影。 比如,淘宝网对八度网络公司的警告,认为它的“超级数据平台”侵犯了淘宝“数据魔方”的软件著作权。中国政府没有办法进行表态,因为我国目前还缺少数据资产归属权、使用权的立法,也没有界定网络上公开的商品价格的数据,它是应该只属于淘宝公司呢,还是应该打开大门,让其他公司也有权利分享。淘宝和腾讯微博先后屏蔽掉百度的蜘蛛爬虫也是一个明证。 现在国内的互联网巨头都掌握着大量的也是部分的消费者数据,像百度、腾讯、阿里巴巴集团三大互联网公司分别掌握搜索、社交和消费数据。这三方数据如果能汇总在一起,可以拼凑出一个完整的网上信息的数据关联图谱。但现实是它们之间没有合作的意图,相反却是高筑墙,阻止数据外流,至少不会让对方轻松地得到。 从大数据的本质来看,其开放与分享精神在中国碰上了数据割据的壁垒。人们知道只有分享才能充分发展大数据的巨大价值,实际做起来却不是这么回事,理想和现实之间还存在着几乎无法跨越的鸿沟。 一位供职于国内某知名IT公司的大数据专家梁先生说:“中国的互联网巨头本质上都还是封建割据的思维,没有认识到信息的流动才是互联网的精髓。”梁先生长期关注大数据,他认为,这些互联网公司都认识到了数据将是未来发展的战略性资产,所以它们不会轻易拱手让人。但正因如此,才造成了中国目前的大数据产业缺乏完整性和一致性,使得可利用价值大打折扣。 特别是对处于大数据产业中下游的中小型企业来说,相对于淘宝、百度等巨头,它们没有技术优势,如果再缺乏数据源头的支持,将真正地在运营和布局上处于尴尬的境地:虽然有锅,但是无米。 在业内进行调查时,很多经理人都反映说,即便巨头们口头上承诺会开放,会让其他公司分享数据,可实际上是“挂羊头卖狗肉”,没有真心诚意将数据源开放,或者它们只允许在其各自的平台上运行。 在政府部门中也存在这个问题,比如我们社会中的个体信息,封闭在工商部门、银行、保险、公安、医院、社保、运营商等不同的机构手中,融合起来非常困难。基于部门利益保护主义,它们对信息共享缺乏动力,这是中国必须尽快革除的障碍。只有打破孤岛,我们才能看到中国的大数据时代的曙光。 大数据并不是存在于某一个部门之中,它发挥作用也不是某一个单独的部门可以实现的。政府需要从横向和纵向同时比较一些数据,来得出最贴近于事实的结论。因此,解决数据的割据和信息孤岛问题、提升系统建设的能力和规划势在必行。从技术层面看,云计算的高度灵活性正好对应了中国政府的需求。 我的建议是,大数据产业的发展,应由各级政府带头实现等级制数据开放共享。从上到下制定一系列针对性的政策和法规,引导和推动各行各业来开放数据,进行数据合作,将所有的数据熔到一个炉子里。在把握巨大商机的同时,也要做好利益的分配,并注重保护特殊信息。 工信部的规划:四项关键技术创新工程 较早前,中国就把云计算列为了新一代信息技术产业的重点领域,而且将在“十二五”期间给予大力扶持。在调查中,工信部的总经济师周子学介绍说,具体措施包括加快云计算技术研发的产业化,组织开展云计算应用试点示范,着力完善产业发展环境等。 中国已经开始行动,迈出了实际性的步伐。在“十二五”时期,工信部将把加快云计算产业列为重点,推动其服务的产业化,提高创新和信息服务的能力,并且要推进核心计算的研发,最终形成云计算系统解决方案的提供能力,使重大的产品产业化,形成服务标准和规范的管理体系。 在“十二五”规划中,工信部列举了与大数据有关的四项关键技术创新工程。它们是: 1.数据挖掘:解决对数据收集的能力; 2.海量数据存储:解决对数据存储的能力; 3.信息处理技术:解决对数据分类与分析的能力; 4.图像视频智能分析:解决对数据的高级分析的能力。 这些都是中国大数据的重要组成部分。对此工信部的官员还说:“中国未来将出台更多的优惠政策,扩及中小型的数据中心,使大数据发展的政策空间更加广阔,利于企业的参与。” 中国规划建设的超大型数据中心的规模为1万个标准机架、拥有超过10万台服务器。从2011年以来,中国规划和建设的超大型数据中心达到了2030个,它们分布在全国各地,也从国家获得了优惠政策。将来,这个优惠范围还将扩大到中小型的数据中心,逐步实现向基层发展。 而且,为了避免盲目地建设数据中心,在2013年初,中国多个部门就联合发文,共同发布了《关于数据中心建设布局的指导意见》,目的就是通过加强顶层设计和规划,引导数据中心的合理布局,让中国的大数据产业健康发展,走出一条富有中国特色的道路,为企业创造一个完善的政策环境。 “脚印追踪”——个性化的数据推荐系统 如果你在自己经常网购的网站看到“猜你喜欢”之类的东西是那么符合自己的要求,不要惊讶,因为我们每一个人都已经步入了大数据时代。你可以想象一下,也许在未来,每天打开电脑,它会自动把你所有的需求列一个清单,你只需要坐在舒服的沙发上点几个确定选项,就可以轻轻松松地搞定一切了。 不要以为这种情形只发生在科幻电影中。商家只有在满足大众的需求时才能够卖出商品,而这一切都是在满足大众的个性化需求的基础之上实现的。 2011年9月,淘宝公司发起了用户定制电视的活动,2天内1万台订制电视就被抢光。在该活动中,用户可以选择电视的各种属性,包括尺寸、边框、颜色等,厂商根据用户的订制内容生产电视产品,再送货到客户的家中。 从这个具有代表性的案例中我们就可以发现,未来的商业模式正在发生着质的变化,它通过满足个性化需求来提升商业运转的效率,在为消费者提供更好服务的同时,获得更多的利润。 ☆“猜你喜欢”的由来 网购中随处可见的“猜你喜欢”是怎么来的呢?事实上,这种推荐方式来源于亚马逊的技术创新。 亚马逊公司的内容起初都是由人工完成的,他们聘请了一个由20人组成的书评团队在网页上推荐有意思的新书。但是随着在亚马逊上架的图书越来越多,这样的人工操作自然越来越显得乏力低效了。 后来,亚马逊的总裁贝索斯决定尝试更有创造性的做法,根据用户的习惯来为其推荐商品。但若想实现个性化推荐,必须要将不同用户进行比较再找到用户之间的关联。但是,面对庞大的数据,这种推荐系统算法烦琐,结果也是不尽如人意。 亚马逊当时的技术人员格雷格林登思考之后,想出了一个解决方法:其实,根本没有必要将不同的用户进行比较,我们只需要找到产品之间的关联。这样的推荐方式可以提前分析产品之间的关系,所以推荐速度非常快,适用于不同产品,甚至可以跨界推荐商品。 林登说:“书评团队被打败、被解散,我对此感到非常难过。但是,数据没有说谎,人工评论的成本是非常高的。” 他将书评家带来的销售量和推荐系统产生的营销业绩进行了比较,发现推荐系统带来的商品销量远远高于书评家,这个销量比较数据直接影响了亚马逊解散书评组,而由推荐系统取代他们来推荐更可能受用户欢迎的产品。 在亚马逊的带领下,越来越多的公司开始使用这种个性化推荐系统,迅速推动了电子商务的发展。而这种基于海量数据的推荐,也是大数据早期运用的一种形式。 ☆大数据是实现个性化的基础 事实上,要实现个性化的商业模式,充足的数据是其必不可少的基础。没有海量的数据,个性化也无从谈起;没有海量的数据,我们甚至连小部分用户的个性也很难总结,更不用说多数用户。 不知道你是否听过“啤酒和尿布”的经典故事。在超市里,尿布要摆在啤酒旁边才能卖得好,这也正是在深入分析大众需求的基础上得出的结论。这样的“规律”安静地隐藏在数据中,它一言不发,只等人们自己发现。我们总是需要深挖,才能让它们浮出水面。 然而大数据相对于传统的数据挖掘更进一步。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……大数据具有如下特点:数据量大、数据种类多、数据之间有潜在关联、速度快、时效高。 无所不在的数据、无处不在的网络和大规模分布式的存储和运算能力(云计算),忠实地记录了我们的衣、食、住、行及社交状态。现在,人类一天创造的数据相当于2000年一年的数据量。 你是否每天会在微博、微信、人人网之类的网站上发布信息?一分钟内,微博上新发的微博超过10万;社交网站Facebook的浏览量超过600万……整个互联网的用户和所有的商品本身就是一个足够大的数据空间,加上空间、时间、天气等等潜在相关因素,想要知道每个用户的喜好,所需要的数据量是巨大的。数据越多,对于用户的理解越精准,但同时分析的难度也就越大……
|