如何解决Hadoop文件系统多次关闭的问题

共计 1620 个字符，预计需要花费 5 分钟才能阅读完成。

丸趣 TV 小编给大家分享一下如何解决 Hadoop 文件系统多次关闭的问题，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

今天我犯了一个 BUG。在我读写文件的时候，Hadoop 抛异常说文件系统已经关闭。

2013-05-20 17:39:00,153 ERROR com.sunchangming.searchlog.CopyAppLogs: err on 2013051918_api_access_65.gz 
java.io.IOException: Filesystem closed 
at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:319) 
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1026) 
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:524) 
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:768) 
at com.sunchangming.searchlog.CopyAppLogs.copyFile(CopyAppLogs.java:51) 
at com.sunchangming.searchlog.CopyAppLogs.access$000(CopyAppLogs.java:18) 
at com.sunchangming.searchlog.CopyAppLogs$1.run(CopyAppLogs.java:194) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) 
at java.util.concurrent.FutureTask.run(FutureTask.java:166) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
at java.lang.Thread.run(Thread.java:722)

然后我就查，为什么呢。我刚刚用 final FileSystem dfs = FileSystem.get(getConf()); 得到它啊。

后来发现，我是一个多线程的程序。FileSystem.get(getConf()) 返回的可能是一个 cache 中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去 get 一个文件系统，然后使用，然后关闭，就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它！

所以 *** 是在 main 函数中就创建好 filesystem 对象然后在不同函数之间来回传递吧。在 main 函数用用 try hellip;finally 关闭它。

多线程程序中，如果你确保在你的 get 和 close 之间不会有别人调用 get，也没问题。

以上是“如何解决 Hadoop 文件系统多次关闭的问题”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注丸趣 TV 行业资讯频道！