运行nutch报错unzipBestEffort returned null怎么办

90次阅读
没有评论

共计 2891 个字符,预计需要花费 8 分钟才能阅读完成。

丸趣 TV 小编今天带大家了解运行 nutch 报错 unzipBestEffort returned null 怎么办,文中知识点介绍的非常详细。觉得有帮助的朋友可以跟着丸趣 TV 小编一起浏览文章的内容,希望能够帮助更多想解决这个问题的朋友找到问题的答案,下面跟着丸趣 TV 小编一起深入学习“运行 nutch 报错 unzipBestEffort returned null 怎么办”的知识吧。

报错信息:fetch of http://szs.mof.gov.cn/zhengwuxinxi/zhengcefabu/201402/t20140224_1046354.html failed with: java.io.IOException: unzipBestEffort returned null

完整的报错信息为:

2014-03-12 16:48:38,031 ERROR http.Http - Failed to get protocol output
java.io.IOException: unzipBestEffort returned null
at org.apache.nutch.protocol.http.api.HttpBase.processGzipEncoded(HttpBase.java:317)
at org.apache.nutch.protocol.http.HttpResponse. init (HttpResponse.java:164)
at org.apache.nutch.protocol.http.Http.getResponse(Http.java:64)
at org.apache.nutch.protocol.http.api.HttpBase.getProtocolOutput(HttpBase.java:140)
at org.apache.nutch.fetcher.Fetcher$FetcherThread.run(Fetcher.java:703)
2014-03-12 16:48:38,031 INFO fetcher.Fetcher - fetch of http://szs.mof.gov.cn/zhengwuxinxi/zhengcefabu/201402/t20140224_1046354.html failed with: java.io.IOException: unzipBestEffort returned null
2014-03-12 16:48:38,031 INFO fetcher.Fetcher - -finishing thread FetcherThread, activeThreads=0

由此可知抛出异常的代码位于 src/plugin/lib-http/src/java/org/apache/nutch/protocol/http/api/HttpBase.java(lib-http 插件)类的 processGzipEncoded 方法的 317 行:

byte[] content;
if (getMaxContent()  = 0) { content = GZIPUtils.unzipBestEffort(compressed, getMaxContent());
} else { content = GZIPUtils.unzipBestEffort(compressed);
if (content == null)
 throw new IOException(unzipBestEffort returned null

nutch2.7\src\plugin\protocol-http\src\java\org\apache\nutch\protocol\http\HttpResponse.java(protocol-http 插件)的 164 行调用了 processGzipEncoded 方法: 

readPlainContent(in);
String contentEncoding = getHeader(Response.CONTENT_ENCODING);
if (gzip .equals(contentEncoding) ||  x-gzip .equals(contentEncoding)) {content = http.processGzipEncoded(content, url);
} else if (deflate .equals(contentEncoding)) {content = http.processDeflateEncoded(content, url);
} else {if (Http.LOG.isTraceEnabled()) {Http.LOG.trace( fetched   + content.length +   bytes from   + url);
}

通过 Firefox 的 Firebug 工具可查看该 URL 的响应头为 Content-Encoding:gzip,Transfer-Encoding:chunked。

解决方法如下:

1、修改文件 nutch2.7\src\java\org\apache\nutch\metadata\HttpHeaders.java,增加一个 field:

public final static String TRANSFER_ENCODING =  Transfer-Encoding

 
2、修改文件 nutch2.7\src\plugin\protocol-http\src\java\org\apache\nutch\protocol\http\HttpResponse.java,替换第 160 行代码 readPlainContent(in); 为如下代码

String transferEncoding = getHeader(Response.TRANSFER_ENCODING); 
if(transferEncoding != null    chunked .equalsIgnoreCase(transferEncoding.trim())){   
 readChunkedContent(in, line); 
}else{ readPlainContent(in); 
}

3、http 内容长度限制不能使用负值,只能使用一个大整数:

property 
 name http.content.limit /name 
 value 655360000 /value 
 /property

 
4、因为修改了核心代码和插件代码,所以需要重新编译打包发布,执行 nutch2.7\build.xml 的默认 target:runtime 

cd nutch2.7
ant

感谢大家的阅读,以上就是“运行 nutch 报错 unzipBestEffort returned null 怎么办”的全部内容了,学会的朋友赶紧操作起来吧。相信丸趣 TV 丸趣 TV 小编一定会给大家带来更优质的文章。谢谢大家对丸趣 TV 网站的支持!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-03发表,共计2891字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)