我们都知道hadoop是现在学习大数据的必备技术之一。简单来说，hadoop就是在分布式服务器集群上存储海量数据，运行分布式分析应用的方法。那么hadoop应该学什么呢？你需要知道什么？有hadoop经典学习资料吗？
hdfs
hdfs(hadoop分布式文件系统)是一个高度容错的系统，适合部署在廉价的机器上。hdfs可以提供高吞吐量的数据访问，适合具有大型数据集的应用程序。
mapreduce
一般来说，mapreduce是一种从海量源数据中提取分析元素，然后返回结果集的编程模型。把分发到硬盘的文件存储起来是第一步，从海量数据中提取分析出我们需要的东西就是mapreduce要做的事情。
mapreduce的基本原理是:将大数据逐个分析成小块，然后对提取的数据进行汇总分析，得到我们想要的东西。当然，如何分块分析，如何做归约运算是很复杂的。hadoop已经提供了数据分析的实现，我们只需要编写简单的需求命令就可以实现我们想要的数据。
关于如何使用hadoop:
我感觉现在各个公司使用hadoop的都不一样，主要是两种。
第一种是长时间运行的集群形式，比如雅虎。唐不要小看这个看起来毫无存在感的公司。雅虎是hadoop的元老之一。这是为了建立一个数据中心，然后几个具有数千个节点的hadoop集群一直在运行。较早进入大数据领域的公司，一般都在使用或者已经使用这种方法。
另一种是只使用mapreduce类型。毕竟是云时代，比如awss弹性mapreduc
我们都知道hadoop是现在学习大数据的必备技术之一。简单来说，hadoop就是在分布式服务器集群上存储海量数据，运行分布式分析应用的方法。那么hadoop应该学什么呢？你需要知道什么？有hadoop经典学习资料吗？
hdfs
hdfs(hadoop分布式文件系统)是一个高度容错的系统，适合部署在廉价的机器上。hdfs可以提供高吞吐量的数据访问，适合具有大型数据集的应用程序。
mapreduce
一般来说，mapreduce是一种从海量源数据中提取分析元素，然后返回结果集的编程模型。把分发到硬盘的文件存储起来是第一步，从海量数据中提取分析出我们需要的东西就是mapreduce要做的事情。
mapreduce的基本原理是:将大数据逐个分析成小块，然后对提取的数据进行汇总分析，得到我们想要的东西。当然，如何分块分析，如何做归约运算是很复杂的。hadoop已经提供了数据分析的实现，我们只需要编写简单的需求命令就可以实现我们想要的数据。
关于如何使用hadoop:
我感觉现在各个公司使用hadoop的都不一样，主要是两种。
第一种是长时间运行的集群形式，比如雅虎。唐不要小看这个看起来毫无存在感的公司。雅虎是hadoop的元老之一。这是为了建立一个数据中心，然后几个具有数千个节点的hadoop集群一直在运行。较早进入大数据领域的公司，一般都在使用或者已经使用这种方法。
另一种是只使用mapreduce类型。毕竟，它南加州大学。响亮的时代，比如aws的弹性mapreduce。这就是把数据存储在其他更便宜的地方，比如s3，自己的数据中心，sql数据库等。需要分析数据时，打开一个hadoop集群，当hive/pig/spark/presto/java完成后关闭。你不你不必亲自做管理工作，这既方便又简洁。
所以，如果个人想学hadoop，我也建议第二种。aws有免费试用期(但是emr不是免费的，所以不要t建了几千个节点，一个月后发现破产了)，可以借鉴。更重要的是，你可以尝试不同的配置对任务的影响，比如不同的版本，不同的容器大小，内存大小等。，对学习spark很有帮助。
总的来说，hadoop适合大数据存储和大数据分析的应用，适合几千到几万台服务器的集群运行，支持pb级的存储容量。hadoop的典型应用包括:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据存储等。
大数据产业已经进入"快车道"的发展，急需大量优秀的大数据人才作为后盾。能够在大数据行业兴起初期进入这个行业，就有机会成为时代的引领者。千峰大数据开发是全新的企业级服务器实践教学，20周带你一站式了解不可思议的大数据开发技术。
.jpg)
.jpg)
.jpg)
.jpg)
