Hadoop与Spark的比较
本帖最后由 AtomTree 于 2016-5-9 14:18 编辑二者解决问题的层面不一样
1.hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。
2.Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
3.Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。
4.Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
两者可合可分
1.Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。（所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理）。
2.Spark也不是非要依附在Hadoop身上才能生存。我们可以选择Hadoop的HDFS，也可以选择其他的基于云的数据系统平台。（但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的）。
Spark处理速度秒杀MapReduce
Spark处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的：“从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…”
反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，”。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。
大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。
页:
[1]