nutch部署到eclipse常见错误有哪些

63次阅读
没有评论

共计 1884 个字符,预计需要花费 5 分钟才能阅读完成。

nutch 部署到 eclipse 常见错误有哪些,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

Nutch 部署到 eclipse 常见错误 Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在 eclipse 上部署 hadoop 时好像也遇到过这个问题。但是,现在已经不知道怎么解决了。

方法 1:

注释掉

target name= create-native-configure

exec executable= autoreconf dir= ${native.src.dir} searchpath= yes failonerror= yes   arg value= -if /

/exec

  /target

去掉 compile-core-native

  target name= compile-core-native depends= create-native-configure,compile-core-classes

 if= compile.native

中的 create-native-configure 依赖

3、修改 hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691 行,把 throw new IOException 改为 LOG.warn

4、用 ant 编译项目,编译成功后从 build 文件夹中取出 hadoop-core.jar 文件夹,放入我们 eclipse 中的 hadoop 项目中,替换项目中原有 hadoop-core.jar,放入 lib 文件夹下。再通过 buildpath 添加 jar 包。

方法 2:

不用修改 build.xml,直接修改 FileUtil.java 文件中的“checkReturnValue(rv, f, permission);”,直接注释掉,再用 ant 命令编译一遍即可产生 hadoop-core.jar 包,同样将 hadoop-core.jar 替换掉项目中 hadoop-core.jar。

继解决了上一个异常 Failed to set permissions of path: 之后,运行文件又出现异常:

运行参数为:urls -dir crawl -depth 2 -topN 2

异常为:

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

这个错是由于未正确指定参数 Program arguments 导致的。来来去去就这么几个错,折腾了一天。深刻体会到,有时候想问题真的不要那么狭隘,要敢于大胆假设。从没想过是 Program arguments 的问题。。。不过找到问题了就快了。

Eclipse 查看 hadoop 源代码

Eclipse 查看 hadoop 源代码导入不成功。以 hadoop-1.2.1.tar.gz 为例,我们先解压 hadoop 项目,然后在压缩成 zip 格式的文件,导入即可成功。

total number of urls rejected by filters: 0

我遇见的这个问题并不是由于程序本身问题导致的,而是因为传递配置参数时没写正确。

在 eclipse 中运行 injector 类时,传的参数应当为:

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

继续运行,这次会发现已经开始报错了。很好,报错是好事,害怕的就是它不报错。能报错就好办了,继续解决下边这个异常:

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch 部署过程中出现了下面错误,主要是没有正确配置插件导致的,可以通过设置 nutch-site.xml 文件的 plugin.folders 属性解决问题

  修改 conf 下 nutch-default 文件将 plugin.folders 的值由 plugins 修改为./src/plugin

因为 plugin 文件在 src 目录下。

关于 nutch 部署到 eclipse 常见错误有哪些问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注丸趣 TV 行业资讯频道了解更多相关知识。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计1884字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)