共计 1884 个字符,预计需要花费 5 分钟才能阅读完成。
nutch 部署到 eclipse 常见错误有哪些,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
Nutch 部署到 eclipse 常见错误 Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700
之前在 eclipse 上部署 hadoop 时好像也遇到过这个问题。但是,现在已经不知道怎么解决了。
方法 1:
注释掉
target name= create-native-configure
exec executable= autoreconf dir= ${native.src.dir} searchpath= yes failonerror= yes arg value= -if /
/exec
/target
去掉 compile-core-native
target name= compile-core-native depends= create-native-configure,compile-core-classes
if= compile.native
中的 create-native-configure 依赖
3、修改 hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691 行,把 throw new IOException 改为 LOG.warn
4、用 ant 编译项目,编译成功后从 build 文件夹中取出 hadoop-core.jar 文件夹,放入我们 eclipse 中的 hadoop 项目中,替换项目中原有 hadoop-core.jar,放入 lib 文件夹下。再通过 buildpath 添加 jar 包。
方法 2:
不用修改 build.xml,直接修改 FileUtil.java 文件中的“checkReturnValue(rv, f, permission);”,直接注释掉,再用 ant 命令编译一遍即可产生 hadoop-core.jar 包,同样将 hadoop-core.jar 替换掉项目中 hadoop-core.jar。
继解决了上一个异常 Failed to set permissions of path: 之后,运行文件又出现异常:
运行参数为:urls -dir crawl -depth 2 -topN 2
异常为:
Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir
这个错是由于未正确指定参数 Program arguments 导致的。来来去去就这么几个错,折腾了一天。深刻体会到,有时候想问题真的不要那么狭隘,要敢于大胆假设。从没想过是 Program arguments 的问题。。。不过找到问题了就快了。
Eclipse 查看 hadoop 源代码
Eclipse 查看 hadoop 源代码导入不成功。以 hadoop-1.2.1.tar.gz 为例,我们先解压 hadoop 项目,然后在压缩成 zip 格式的文件,导入即可成功。
total number of urls rejected by filters: 0
我遇见的这个问题并不是由于程序本身问题导致的,而是因为传递配置参数时没写正确。
在 eclipse 中运行 injector 类时,传的参数应当为:
Main class: org.apache.nutch.crawl.Injector
VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log
Program arguments: crawldb urls
继续运行,这次会发现已经开始报错了。很好,报错是好事,害怕的就是它不报错。能报错就好办了,继续解决下边这个异常:
nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object
nutch 部署过程中出现了下面错误,主要是没有正确配置插件导致的,可以通过设置 nutch-site.xml 文件的 plugin.folders 属性解决问题
修改 conf 下 nutch-default 文件将 plugin.folders 的值由 plugins 修改为./src/plugin
因为 plugin 文件在 src 目录下。
关于 nutch 部署到 eclipse 常见错误有哪些问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注丸趣 TV 行业资讯频道了解更多相关知识。