如何装hadoop？详细点哈？
简单的方法，个人建议免费试用版linux或unix操作系统。接着按装jdk，尽量版本号选1.8的。
配置环境变量java_home，系统设置java_home的命令如：exportjava_home/...
然后把完全安装hadoop，安装过程比较好简单的，官网去下载hadoop的bin压缩包，舒缓压力的某个目录下就这个可以。接着把hadoop下的bin目录再添加到环境变量path中。
hadoopmapreduce分别是干啥的？
hadoop是一种架构，单独搭建分布式平台在用mapreduce是一种编程模型，是一种编程方法，抽象理论来的
1、hadoop是一种分布式系统的平台，按照它是可以可以轻松的搭建中两个高效稳定、高质量的分布系统，而且它还有一个许多其它的相关子项目，也就是对它的功能的极大扩充，除开zookeeper,hive,hbase等。
2、mapreduce是hadoop的核心组件之一，hadoop要分布式和两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,互为因果，也就是说，可以是从mapreduce容易在hadoop平台上通过分布式的计算编程。
如何使用hadoop的archive处理小文件？
这个处理方法挺多的，大可举个例子吧来很简单只能说明帮一下忙:
可以使用hadooparchive命令是从mapreduce任务生产har压缩文件
测试hdfs源文件：
/test/lizhao/2019-01-13/*
/test/lizhao/2019-01-14/*
压缩命令hadooparchive-archivenamename-pltparentpathgt[-rltreplicationfactorgt]ltsrcgt*ltdestgt：
gtgtgthadooparchive-archivename2019-01.har-p/test/lizhao2019-01-132019-01-14/test/lizhao/
19/01/1414:11:55infoclient.rmproxy:connectingdidresourcemanageratic-1/192.168.11.180:8032
19/01/1414:11:56infoclient.rmproxy:connectingtoresourcemanageratic-1/192.168.11.180:8032
19/01/1414:11:56infoclient.rmproxy:connectingtoresourcemanageratic-1/192.168.11.180:8032
19/01/1414:11:56infonumberofsplits:1
19/01/1414:11:57infosubmittingtokensforjob:job_1533867597475_0001
19/01/1414:11:58infoimpl.yarnclientimpl:submittedapplicationapplication_1533867597475_0001
19/01/1414:11:58infotheurltotrackthejob:-1:8088/proxy/application_1533867597475_0001/
19/01/1414:11:58inforunningjob:job_1533867597475_0001
19/01/1414:12:07infojobjob_1533867597475_0001runninginubermode:true
19/01/1414:12:07infomap0%reduce0%
19/01/1414:12:13infomap100%reduce0%
19/01/1414:12:24infomap100%reduce100%
19/01/1414:12:24infojobjob_1533867597475_0001completedsuccessfully
19/01/1414:12:24infocounters:49
*****
tmap-reduceframework
ttmapinputrecords15
ttmapoutputrecords15
ttmapoutputbytes1205
ttmapoutputmaterializedbytes1241
ttinputsplitbytes116
ttcombineinputrecords0
ttcombineoutputrecords0
ttreduceinputgroups15
ttreduceshufflebytes1241
ttreduceinputrecords15
ttreduceoutputrecords0
ttspilledrecords30
ttshuffledmaps1
ttfailedshuffles0
ttmergedmapoutputs1
ttgctimeelapsed(ms)137
ttcputimespent(ms)6370
ttphysicalmemory(bytes)snapshot457756672
ttvirtualmemory(bytes)snapshot3200942080
tttotalcommittedheapusage(bytes)398458880
tshuffleerrors
ttbad_id0
ttconnection0
ttio_error0
ttwrong_length0
ttwrong_map0
ttwrong_reduce0
tfileinputformatcounters
ttbytesread995
tfileoutputformatcounters
ttbyteswritten0
3、查看压缩后的文件：
gtgtgthadoopfs-ls-01.har
drwxr-xr-x-rootsupergroup02019-01-1414:06-01.har/2019-01-13
drwxr-xr-x-rootsupergroup02019-01-1414:06-01.har/2019-01-14
gtgtgthadoopfs-ls-01.har/2019-01-13
-rw-r--r--2rootsupergroup222019-01-1414:05-01.har/2019-01-13/21.txt
-rw-r--r--2rootsupergroup222019-01-1414:05-01.har/2019-01-13/31.txt
-rw-r--r--2rootsupergroup222019-01-1414:06-01.har/2019-01-13/5b.txt
-rw-r--r--2rootsupergroup222019-01-1414:06-01.har/2019-01-13/6b.txt
4、下载har中的文件
hadoopfs-get
原文标题：hadoop操作方法 如何装Hadoop？详细点哈？，如若转载，请注明出处：https://www.suhaipipe.com/tag/26762.html
免责声明：此资讯系转载自合作媒体或互联网其它网站，「蓝鲸百科」登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。
微信扫一扫
相关推荐
-
用后体验分享品品呗富硒绿茶评价怎样，揭秘优缺点
用后体验分享品品呗富硒绿茶评价怎样，揭秘优缺点？有人评价说这款品品呗富硒绿茶包装：包装完整无缺，也有人评论说它刚收到货就迫不及待打开泡了一杯，味道不错，是那个味...
-
全方位分析凤凰凤凰五位密码钢缆锁50cm黑黄密码锁爆料必看，入手两个月经验分享
全方位分析凤凰凤凰五位密码钢缆锁50cm黑黄密码锁爆料必看，入手两个月经验分享？有人评价说这款凤凰凤凰五位密码钢缆锁50cm黑黄密码锁刚刚买了自行车！看到这个风...
-
分享评测GOPROHERO 9 Black运动相机评测感觉真的好吗？评测半个月经验分享
分享评测GOPROHERO9Black运动相机评测感觉真的好吗？评测半个月经验分享？有人评价说这款GOPROHERO9Black运动相机很棒，使用方便，送卡和电...
-
请问一下欧莱雅（LOREAL）眼霜值不值这价格呢？使用半个月经验分享
请问一下欧莱雅（LOREAL）眼霜值不值这价格呢？使用半个月经验分享？有人评价说这款欧莱雅（LOREAL）眼霜包装：气泡纸裹着2个小样，没有多余的包装。，也有人...
-
深度曝光先锋（SINGFUN）DTJ-T10踢脚线评价真实好吗？评测三周感受分享
深度曝光先锋（SINGFUN）DTJ-T10踢脚线评价真实好吗？评测三周感受分享？有人评价说这款先锋（SINGFUN）DTJ-T10踢脚线好用，卧室小很容易升温...
-
评测说一说香百年车载香水用户评价如何，一定看看如何
评测说一说香百年车载香水用户评价如何，一定看看如何？有人评价说这款香百年车载香水香百年真的很不错，味道不刺鼻，很喜欢。。真的推荐啊，爱了爱了，这个价格买到这么好...