读书笔记-《大数据时代：生活，工作与思维的大变革》

        这篇读后感写了好久，写了又删，删了又写，因为我总在纠结写读书笔记还是些读后感，读书笔记侧重于知识点总结，读后感侧重于读完这本书的感受，之前写的都是读书笔记，所以用时很长，还总得回去翻，比较低效，我想以后还是写读后感就行，只需要把自己印象较深的内容写一下，分析总结一下，再写写自己的收获与感想，这样想到什么就写什么，比较快。

1.大数据时代与小数据时代的区别

        在小数据时代，由于采集数据和分析数据的手段比较困乏，所以为了研究某种现象或规律，往往采取的是随机抽样的方法，但随机抽样有很多弊端，比如采样必须尽可能的随机，否则会对研究结果产生很大的影响

        而在大数据时代，采集数据和分析数据的能力都大幅度提高，所以在做数据分析的时候，样本=全量数据，由全量数据分析得到的数据会更加有用

2.在大数据时代，看重的是相关关系，而不是因果关系

        在小数据时代，由于我们人类看到的信息数据较少，所以会对某些事情的现象下结论，比如张三家住农村，某个星期一的时候，他突然想去树林里散散步，突然发现树林里长了很多蘑菇，于是他兴冲冲的将蘑菇采回家美美的吃了一顿，于是接连几天他都去树林去采蘑菇，但都没发现蘑菇，知道第二个星期一张三采又踩到了蘑菇，于是张三得出一个结论，只有周一的时候树林里才会长蘑菇，于是之后张三就只在星期一的时候去树林里采蘑菇。

        但事实上，影响长蘑菇的因素由很多，比如星期一前一天下了雨，比如一个月前事鸟儿把蘑菇的种子带到了树林，等等，很多很多，并不是星期一一定导致了树林长蘑菇

        在小数据时代，人们可能会通过自己假想的因果关系去判断一件事情的发生，而在大数据时代，是根据相关关系去判定的事情发生的概率大小，比如大数据很经典的一个案例，沃尔玛发现啤酒和尿不湿出现在一个购物车的频率很高，可能的原因是，尿不湿是由新生儿使用的，这个时候母亲一般都在家照顾孩子和修养，只有父亲会去超市采购，所以通常会在买尿不湿的时候买啤酒，但买尿不湿的人一定会买啤酒吗，不一定的，只是说明它们由强相关性罢了，但其实这样就够了，对于沃尔玛来说，他不需要知道背后的原因，只需要知道他俩放一块儿能够卖的更好就可以了。

3.大数据对人类生活的影响

        大数据给人类带来了很多便利，比如2009年，谷歌公司就通过大数据分析用户搜索的词条，预测了H1N1流感的传播路径，为流感的预防起到了很大的作用，

        再比如可以利用大数据预测天然灾害，比如给重要的桥梁，建筑等等安装传感器，检测桥梁的数据，因为像建筑这样的事故往往不是一瞬间发生的，在坍塌之前就一定有了异常数据，倘若我们之前就检测到了这些异常数据，就能够提前预测事故的发生，避免造成更多的损失。

        更常见的大数据应用就是根据用户的喜好向用户推荐他们可能喜欢的物品，而用户的喜好就是通过大数据分析出来的

还有很多很多。

4.大数据对商业的影响

(1)一切皆可数据化

        大数据的核心就是挖掘出庞大的数据库独有的价值，而如今，一切皆可数据化与量化。

        在大数据时代，所有的数据都是有价值的，不同于物质性的东西，数据的价值是不会随着它的使用而减少的，它是可以被不断的被处理的，数据的价值不仅限于特定的用途，它可以为同一个目的而多次使用，也可以为别的目的所使用。

(2)取之不竭，用之不尽的数据创新

        数据是有潜在价值的，数据的真实价值就像漂浮在海洋中的冰山，第一眼看到的往往只是冰山一角，而绝大部分都隐藏在海洋之下，等待着被挖掘。

        数据的潜在价值主要有三种方式，一是数据再利用，二是数据整合，三是设计好数据的可扩展性。

• 数据再利用就是通过不同的方式分析统一份数据，得到不同的价值

• 数据整合就是数据集可以通过和另一个截然不同的数据结合，产生新的价值

• 设计好数据的可扩展性，通过一些方法鼓励相同数据集的不同用途，比如商店的监控数据，原意是用来检测商店的扒窃行为的，但是也可以利用监控数据，跟踪在商店购物的客户流以及停留位置，然后利用这些信息设计店面的最佳布局并判断营销活动的有效性。

(3)角色定位，数据，技术与思维的三足鼎立

根据所提供价值的不同，现如今出现了三种大数据公司，这三种来源分别是：数据本身，技能，思维

• 第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据，却不一定有从数据中提取价值或者用数据催生创新思想的技能。最好的例子就是Twitter，它拥有海量数据这一点是毫无疑问的，但是它的数据都通过两个独立的公司授权给别人使用，

• 第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的才能。比方说，沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司（Teradata）的分析来获得营销点子，天睿就是一家大数据分析公司

• 第三种是基于思维的公司。皮特·华登（Pete Warden），Jetpac的联合创始人，就是通过想法获得价值的一个例子。Jetpac通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于某些公司来说，数据和技能并不是成功的关键。让这些公司脱颖而出的是其创始人和员工的创新思维，他们有怎样挖掘数据的新价值的独特想法

还有一些巨头公司，它们三者兼具，比如谷歌，亚马逊。

5.大数据的一些负面影响

        大数据在带给我们便利的同时也带来了一些负面影响。

        互联网的出现使得监视变得更为容易，人类的隐私数据更容易被获得，从而通过大数据预测分析人类的潜在行为，使得人类的隐私受到了侵犯。

        大数据还有一个弊端，倘若我们把犯罪的定罪权放在了数据手中，会造成一种滥用，甚至是危险的，危害公平的，有一部叫《少数派报告》的电影，里面讲了一个可以准确预知未来的世界，里面有一类警察是预防犯罪的发生的，倘若分析得到的结果是你有可能犯罪，就会将你拘捕，在你实施犯罪前就将你抓起来了，从而避免犯罪的发生，这其实是非常不公平的，人们要为自己未做的事情负责。

        大数据的另一个弊端就是我们的隐私会被二次利用，其实不是所有数据都是带有个人信息的，比如工厂的机器数据，机场的气象数据等等，但其中一些数据，通过大数据处理分析之后，是可以追溯到个人了，所以在大数据时代，使用技术的方法来保护隐私是很困难的。

6.我的一些收获

        这本书让我对大数据有了更多的认识，比如商业上，公司可以利用大数据获得巨大的商业利益，还有除了商业上的用途，大数据还可以通过一些传感器的数据，监测建筑，地质，气象的数据，从而分析并预测可能发生的灾害，从而尽可能避免损失，并且以后物联网会越来越发达，这些数据肯定也会越来越多，所以一般较大的公司，一定有关于这方面的岗位，所以大数据，数据分析等方向的职业前景还是很好的

        另一个收获就是要培养关于大数据的创新思维，因为关于大数据的技术一直在不断更新，并且越来越强，从Hadoop到spark，再到Flink，这些发展的实在是太快了，所以对于个人来说，除了提升自己的技术实力，我们需要培养大数据思维，要知道如何利用大数据去解决问题，拿到自己想要的结果，这是非常重要的。