Hadoop3.0将出,Spark会取代Hadoop吗

发布网友 发布时间：2022-04-23 23:04

我来回答

共2个回答

热心网友 时间：2022-04-12 13:55

(1)先说二者之间的区别吧。
首先，Hadoop与Spark解决问题的层面不同。
Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
其次，还有一点也值得注意——这两者的灾难恢复方式迥异。因为Hadoop将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。
Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能。
由于两者的侧重点不同，使用场景不同，其实并没有替代之说。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的概念。RDD可以cache到内存中，那么每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了MapRece大量的磁盘IO操作。但是，我们也要看到spark的*：内存。我认为Hadoop虽然费时，但是在OLAP等大规模数据的应用场景，还是受欢迎的。目前Hadoop涵盖了从数据收集、到分布式存储，再到分布式计算的各个领域，在各领域都有自己独特优势。
(2)为什么有这么多人不看好Hadoop，力捧Spark呢?
很多人在谈到Spark代替Hadoop的时候，其实很大程度上指的是代替MapRece。
MapRece的缺陷很多，最大的缺陷之一是Map + Rece的模型。这个模型并不适合描述复杂的数据处理过程。很多公司把各种奇怪的Machine Learning计算用MR模型描述，不断挖掘MR潜力，对系统工程师和Ops也是极大挑战了。很多计算，本质上并不是一个Map，Shuffle再Rece的结构，比如我编译一个SubQuery的SQL，每个Query都做一次Group By，我可能需要Map，Rece+Rece，中间不希望有无用的Map;又或者我需要Join，这对MapRece来说简直是噩梦，什么给左右表加标签，小表用Distributed Cache分发，各种不同Join的Hack，都是因为MapRece本身是不直接支持Join的，其实我需要的是，两组不同的计算节点扫描了数据之后按照Key分发数据到下一个阶段再计算，就这么简单的规则而已;再或者我要表示一组复杂的数据Pipeline，数据在一个无数节点组成的图上流动，而因为MapRece的呆板模型，我必须一次一次在一个Map/Rece步骤完成之后不必要地把数据写到磁盘上再读出，才能继续下一个节点，因为Map Rece2个阶段完成之后，就算是一个计算步骤完成，必定会写到磁盘上等待下一个Map Rece计算。
上面这些问题，算是每个号称下一代平台都尝试解决的。现在号称次世代平台现在做的相对有前景的是Hortonworks的Tez和Databricks的Spark。他们都尝试解决了上面说的那些问题。Tez和Spark都可以很自由地描述一个Job里执行流。他们相对现在的MapRece模型来说，极大的提升了对各种复杂处理的直接支持，不需要再绞尽脑汁“挖掘”MR模型的潜力。综上，Spark数据处理速度秒杀MapRece因为其处理数据的方式不一样，会比MapRece快上很多。
(3)可以判Hadoop“死刑”吗?
目前备受追捧的Spark还有很多缺陷，比如：
1、稳定性方面，由于代码质量问题，Spark长时间运行会经常出错，在架构方面，由于大量数据被缓存在RAM中，Java回收垃圾缓慢的情况严重，导致Spark性能不稳定，在复杂场景中SQL的性能甚至不如现有的Map/Rece。
2、不能处理大数据，单独机器处理数据过大，或者由于数据出现问题导致中间结果超过RAM的大小时，常常出现RAM空间不足或无法得出结果。然而，Map/Rece运算框架可以处理大数据，在这方面，Spark不如Map/Rece运算框架有效。
3、不能支持复杂的SQL统计;目前Spark支持的SQL语法完整程度还不能应用在复杂数据分析中。在可管理性方面，SparkYARN的结合不完善，这就为使用过程中埋下隐忧，容易出现各种难题。
Spark和Hadoop谁强谁弱？在比较Hadoop和Spark方面要记住的最重要一点就是，它们并不是非此即彼的关系，因为它们不是相互排斥，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。
也就是说，大数据行业的老鸟们如果只会Hadoop就要当心了，挤出时间来学习Spark和其他新技术是绝对必要的;而对于目前正准备尝试大数据培训的朋友们，从Hadoop开始仍然是最好的选择。长远来看新技术总会不断出现，不管是Spark还是Tez似乎都有着更美妙的大数据前景，然而没有人会劝你完全抛开Hadoop。

热心网友 时间：2022-04-12 15:13

大讲台Hadoop为你解答：1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。 2. Hadoop 3.0新特性 Hadoop 3.0在功能和性能方面，对hadoop内核进行了多项重大改进，主要包括： 2.1 Hadoop Common （1）精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org.apache.hadoop.Records （2）Classpath isolation以防止不同版本jar包冲突，比如google Guava在混合使用Hadoop、HBase和Spark时，很容易产生冲突。（3）Shell脚本重构。 Hadoop 3.0对Hadoop的管理脚本进行了重构，修复了大量bug，增加了新特性，支持动态命令等。