Ambari和ClouderaManager是什么

65次阅读
没有评论

共计 1931 个字符,预计需要花费 5 分钟才能阅读完成。

本篇内容主要讲解“Ambari 和 ClouderaManager 是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让丸趣 TV 小编来带大家学习“Ambari 和 ClouderaManager 是什么”吧!

1、什么是 CDH,Ambari?

Apache Ambari 是一种基于 Web 的工具,支持 Apache Hadoop 集群的供应、管理和监控。Ambari 已支持大多数 Hadoop 组件,包括 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和 Hcatalog 等。

Apache Ambari 支持 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和 Hcatalog 等的集中管理。也是 5 个顶级 hadoop 管理工具之一。Ambari 能够安装安全的(基于 Kerberos)Hadoop 集群,以此实现了对 Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了 LDAP 和 Active Directory。

CDH 简介

• Cloudera s Distribution, including Apache Hadoop
• 是 Hadoop 众多分支中的一种,由 Cloudera 维护,基于稳定版本的 Apache Hadoop 构建
• 提供了 Hadoop 的核心
– 可扩展存储
– 分布式计算
• 基于 Web 的用户界面

CDH 的优点

• 版本划分清晰
• 版本更新速度快
• 支持 Kerberos 安全认证
• 文档清晰
• 支持多种安装方式(Cloudera Manager 方式

2、为什么需要他们

• 1000 台服务器的集群,最少要花费多长时间来搭建好 Hadoop 集群,包括 Hive、Hbase、Flume、Kafka、Spark 等等
• 只给你一天时间,完成以上工作?
• 对于以上集群进行 hadoop 版本升级,你会选择什么升级方案,最少要花费多长时间?

• 新版本的 Hadoop,与 Hive、Hbase、Flume、Kafka、Spark 等等兼容?

大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和 Cloudera Manger + CDH)。

  手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。

  工具部署呢,比如 Ambari 或 Cloudera Manger。(当前两大最主流的集群管理工具,前者是 Hortonworks 公司,后者是 Cloudera 公司)使用工具来,可以说是一键操作,难点都在工具 Ambari 或 Cloudera Manger 本身部署上。

手工方式和工具方式比较:

比较点

手工方式

工具方式

难易度

难,几乎不可能成功

简单,易行

兼容性

自己解决组件兼容性问题

自动安装兼容组件

组件支持数

支持全部组件

支持常用组件

优点

对组件和集群管理深刻

简单、容易、可行

缺点

太复杂,不容易成功

屏蔽太多细节,妨碍对组件理解

工具比较:

详细对比情况如下:

出版商:

hortonworks 研发了 Ambari 和 hdp 的大数据分析集成平台
cloudera 研发了 cloudera manger 和 cdh 大数据分析集成平台
稳定性:

cloudera 相对来说比较稳定
ambari 相对来说不稳定(页面打开速度慢)
资源消耗:

cloudera manager 的 server 端 Xmx 是 2G,agent 是 1G, 但是有 host monitor 和 service monitor 总共大概 1G
ambari 的 server 端 Xmx 是 2G,metric 的 ams 和 hbase 的 env 大概也就是 2G
集群重启:

cloudera 支持滚动重启 (hdfs 需要设计成 ha, 才能滚动重启)
ambari 支持滚动重启(hdfs 需要设计成 ha, 才能滚动重启)
集群升级(一般来讲不要轻易升级集群):

cloudera 不支持滚动升级服务
ambari 支持滚动升级服务(这个是 ambari 的优点,hdfs 必须是 ha)
二次开发:

cloudera 不支持
ambari 支持
服务版本:

cloudera 较老
ambari 较新
服务集成性:

cloudera 较弱
ambari 较强, 支持 es、redis、presto、kylin 等
体验效果:

cloudera 好
ambari 相对差
安装过程:

cloudera 复杂
ambari 简单
邮件报警:

cloudera 支持不好
ambari 支持很好
安装包:

cloudera 是 parcel 包
ambari 是 rpm 包

到此,相信大家对“Ambari 和 ClouderaManager 是什么”有了更深的了解,不妨来实际操作一番吧!这里是丸趣 TV 网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-04发表,共计1931字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)