怎么解析Hadoop的分析

75次阅读
没有评论

共计 717 个字符,预计需要花费 2 分钟才能阅读完成。

这篇文章将为大家详细讲解有关怎么解析 Hadoop 的分析,文章内容质量较高,因此丸趣 TV 小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

Hadoop:

  适合大数据的分布式存储和计算平台.Hadoop 中的核心就是 HDFS(Hadoop Distributed File System)hadoop 分布式文件系统,还有一个就是 MapReduce 并行计算框架.

Hadoop 分布式文件系统:

  当数据集的大小超过一台独立物理计算机的存储能力时,就有必要对它进行分区 (Partition),并存储到若干台单独的计算机上,管理网络中跨多台计算机存储的文件系统称为分布式文件系统 (Distributed File System)。

 Hadoop 有一个称为 HDFS 的分布式文件系统, 全程 Hadoop Distributed File System。在非正式文档或旧文档以及配置文件中,有时也简称为 DFS。

Hadoop 中的 MapReduce 计算框架:

  在 Hadoop 中,其实处理数据都是由 MapReduce 来进行处理,首先由 Map 过滤数据或其他操作,在 Map 的输出时 Reduce 端的输入,Reduce 端拿到 Map 端的输出后,分别对数据进行分区,排序,分组,聚合等操作,最后 Reduce 端把处理后的数据输出到 HDFS 中进行存储,再后可以把处理的数据提取并做其他相应需求操作。

                                                                                                                             

关于怎么解析 Hadoop 的分析就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计717字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)