getConf与new Configuration怎么配置

78次阅读
没有评论

共计 1532 个字符,预计需要花费 4 分钟才能阅读完成。

本篇内容主要讲解“getConf 与 new Configuration 怎么配置”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让丸趣 TV 小编来带大家学习“getConf 与 new Configuration 怎么配置”吧!

#getConf
所有的配置都通过命令的形式, 此种情况下支持 -files

sudo -uwirelessdev hadoop jar \
/home/q/script/mods/mrjob/mods-1.0-SNAPSHOT-jar-with-dependencies.jar \
-files /home/q/script/mods/mrjob/mods.acid \
-D mapreduce.job.queuename=wirelessdev \
-D mapreduce.job.priority=VERY_HIGH \
-D mapreduce.map.memory.mb=8192 \
-D mapreduce.map.java.opts= -Xmx8192M  \
-D mapreduce.reduce.memory.mb=8192 \
-D mapreduce.reduce.java.opts= -Xmx8192M  \
-D mapreduce.job.reduces=100 \
-D mapred.reduce.tasks=100 \
-D mapreduce.job.name=mods_firstjob_leofei.li \
/user/wirelessdev/marmot_warehouse/ods/ods_modss_frame/dt=2016-07-13/platform=Ios-pad/* \
/user/wirelessdev/leofei.li/firstjob

#new Configuration 配置项通过代码进行配置,此时,通过命令行的配置项会失效

Configuration conf =new Configuration();
conf.set( fs.defaultFS , hdfs://qunarcluster 
conf.set( mapreduce.job.queuename , wirelessdev 
conf.set( mapreduce.job.reduces , 100 
conf.set( mapreduce.job.priority , VERY_HIGH 
conf.set( mapreduce.map.memory.mb , 8192 
conf.set( mapreduce.map.java.opts , -Xmx8192M 
conf.set( mapreduce.reduce.memory.mb , 8192 
conf.set(mapreduce.reduce.java.opts , -Xmx8192M

该情况下不支持 -files,需要使用 DistributedCache, 默认 hdfs 路径

DistributedCache.addCacheFile(new Path( /user/wirelessdev/leofei.li/conf/mods.acid).toUri(), conf);

# 推荐

Configuration conf = getConf(); conf.set( mapreduce.job.queuename , wirelessdev 
Job job = Job.getInstance(conf, mods_firstjob_leofei.li

到此,相信大家对“getConf 与 new Configuration 怎么配置”有了更深的了解,不妨来实际操作一番吧!这里是丸趣 TV 网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计1532字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)