使用flume的时出现的问题怎么解决

45次阅读
没有评论

共计 715 个字符,预计需要花费 2 分钟才能阅读完成。

这篇文章主要讲解了“使用 flume 的时出现的问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着丸趣 TV 小编的思路慢慢深入,一起来研究和学习“使用 flume 的时出现的问题怎么解决”吧!

问题:java.lang.NullPointerException: Expected timestamp

sink 是 hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置  hdfs.useLocalTimeStamp 这个参数,比如以每个小时作为一个文件夹,那么配置应该是这样:

a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/flume/events/%y-%m-%d/%H
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = truea1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = hour
a1.sinks.k1.hdfs.useLocalTimeStamp = true

或者修改  hdfs.timeZone 这个参数使之可以和我们上传的 log 文件的日期格式一样应该就可以了,没有测试过。

感谢各位的阅读,以上就是“使用 flume 的时出现的问题怎么解决”的内容了,经过本文的学习后,相信大家对使用 flume 的时出现的问题怎么解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是丸趣 TV,丸趣 TV 小编将为大家推送更多相关知识点的文章,欢迎关注!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计715字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)