hadoop操作方法如何装Hadoop？详细点哈？介绍

hadoop操作方法 如何装Hadoop？详细点哈？

如何装hadoop？详细点哈？

简单的方法，个人建议免费试用版linux或unix操作系统。接着按装jdk，尽量版本号选1.8的。

配置环境变量java_home，系统设置java_home的命令如：exportjava_home/...

然后把完全安装hadoop，安装过程比较好简单的，官网去下载hadoop的bin压缩包，舒缓压力的某个目录下就这个可以。接着把hadoop下的bin目录再添加到环境变量path中。

hadoopmapreduce分别是干啥的？

hadoop是一种架构，单独搭建分布式平台在用mapreduce是一种编程模型，是一种编程方法，抽象理论来的

1、hadoop是一种分布式系统的平台，按照它是可以可以轻松的搭建中两个高效稳定、高质量的分布系统，而且它还有一个许多其它的相关子项目，也就是对它的功能的极大扩充，除开zookeeper,hive,hbase等。

2、mapreduce是hadoop的核心组件之一，hadoop要分布式和两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,互为因果，也就是说，可以是从mapreduce容易在hadoop平台上通过分布式的计算编程。

如何使用hadoop的archive处理小文件？

这个处理方法挺多的，大可举个例子吧来很简单只能说明帮一下忙:

可以使用hadooparchive命令是从mapreduce任务生产har压缩文件

测试hdfs源文件：

/test/lizhao/2019-01-13/*

/test/lizhao/2019-01-14/*

压缩命令hadooparchive-archivenamename-pltparentpathgt[-rltreplicationfactorgt]ltsrcgt*ltdestgt：

gtgtgthadooparchive-archivename2019-01.har-p/test/lizhao2019-01-132019-01-14/test/lizhao/

19/01/1414:11:55infoclient.rmproxy:connectingdidresourcemanageratic-1/192.168.11.180:8032

19/01/1414:11:56infoclient.rmproxy:connectingtoresourcemanageratic-1/192.168.11.180:8032

19/01/1414:11:56infoclient.rmproxy:connectingtoresourcemanageratic-1/192.168.11.180:8032

19/01/1414:11:56infonumberofsplits:1

19/01/1414:11:57infosubmittingtokensforjob:job_1533867597475_0001

19/01/1414:11:58infoimpl.yarnclientimpl:submittedapplicationapplication_1533867597475_0001

19/01/1414:11:58infotheurltotrackthejob:-1:8088/proxy/application_1533867597475_0001/

19/01/1414:11:58inforunningjob:job_1533867597475_0001

19/01/1414:12:07infojobjob_1533867597475_0001runninginubermode:true

19/01/1414:12:07infomap0%reduce0%

19/01/1414:12:13infomap100%reduce0%

19/01/1414:12:24infomap100%reduce100%

19/01/1414:12:24infojobjob_1533867597475_0001completedsuccessfully

19/01/1414:12:24infocounters:49

*****

tmap-reduceframework

ttmapinputrecords15

ttmapoutputrecords15

ttmapoutputbytes1205

ttmapoutputmaterializedbytes1241

ttinputsplitbytes116

ttcombineinputrecords0

ttcombineoutputrecords0

ttreduceinputgroups15

ttreduceshufflebytes1241

ttreduceinputrecords15

ttreduceoutputrecords0

ttspilledrecords30

ttshuffledmaps1

ttfailedshuffles0

ttmergedmapoutputs1

ttgctimeelapsed(ms)137

ttcputimespent(ms)6370

ttphysicalmemory(bytes)snapshot457756672

ttvirtualmemory(bytes)snapshot3200942080

tttotalcommittedheapusage(bytes)398458880

tshuffleerrors

ttbad_id0

ttconnection0

ttio_error0

ttwrong_length0

ttwrong_map0

ttwrong_reduce0

tfileinputformatcounters

ttbytesread995

tfileoutputformatcounters

ttbyteswritten0

3、查看压缩后的文件：

gtgtgthadoopfs-ls-01.har

drwxr-xr-x-rootsupergroup02019-01-1414:06-01.har/2019-01-13

drwxr-xr-x-rootsupergroup02019-01-1414:06-01.har/2019-01-14

gtgtgthadoopfs-ls-01.har/2019-01-13

-rw-r--r--2rootsupergroup222019-01-1414:05-01.har/2019-01-13/21.txt

-rw-r--r--2rootsupergroup222019-01-1414:05-01.har/2019-01-13/31.txt

-rw-r--r--2rootsupergroup222019-01-1414:06-01.har/2019-01-13/5b.txt

-rw-r--r--2rootsupergroup222019-01-1414:06-01.har/2019-01-13/6b.txt

4、下载har中的文件

hadoopfs-get

hadoop命令mapreduce文件平台