CDH5基础知识点有哪些

共计 2994 个字符，预计需要花费 8 分钟才能阅读完成。

这篇文章主要讲解了“CDH5 基础知识点有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着丸趣 TV 小编的思路慢慢深入，一起来研究和学习“CDH5 基础知识点有哪些”吧！

0. 体系架构

CM 分为 Server 与 Agent 两部分及数据库（自带更改过的嵌入 Postgresql）。它主要做三件事件：

1.  管理监控集群主机。

2.  统一管理配置。

3.  管理维护 Hadoop 平台系统。

实现采用 C / S 结构，Agent 为客户端负责执行服务端发来的命令，执行方式一般为使用 python 调用相应的服务 shell 脚本。Server 端为 Java REST 服务，提供 REST API，Web 管理端通过 REST API 调用 Server 端功能，Web 界面使用富客户端技术（Knockout）。

1.  Server 端主体使用 Java 实现。

2.  Agent 端主体使用 Python, 服务的启动通过调用相应的 shell 脚本进行启动，如果启动失败会重复 4 次调用启动脚本。

3.  Agent 与 Server 保持心跳，使用 Thrift RPC 框架。

1. 相关目录

·  /opt/cloudera/parcels/ : Hadoop 相关服务安装目录。

·  /opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为 parcels。

·  /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。

·  /opt/cloudera/parcels/CDH/jars : 所有 jar 包所在目录

·  /var/log/cloudera-scm-installer : 安装日志目录

·  /var/log/cloudera-scm-* : 相关日志文件（相关服务的及 CM 的）

·  /usr/share/cmf/ : 程序安装目录

·  /usr/lib64/cmf/ : Agent 程序代码

·  /var/lib/cloudera-scm-server-db/data : 内嵌 postgresql 数据库目录

·  /var/lib/cloudera-scm-server: 服务端目录

·  /usr/bin/postgres : 内嵌数据库程序

·  /etc/cloudera-scm-agent/ : cm agent 的配置目录。

·  /etc/cloudera-scm-agent/config.ini：配置连接服务端的配置, 如 server_host

·  /etc/cloudera-scm-server/ : cm server 的配置目录。

·  /etc/cloudera-scm-server/db.properties：database settings

·  /etc/hadoop/*：hadoop 客户端配置目录

·  /etc/hive/：hive 的配置目录

2. 配置及环境变量

   CDH 安装完成后, 服务启动时,Hadoop 各组件配置文件会被放置于 /var/run/cloudera-scm-agent/process/ 目录下。

例如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过 Cloudera Manager 启动相应服务（如 HDFS）时生成的，内容从数据库中获得（即通过界面配置的参数）。

    在 CM 界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

  CM Server 主要数据库为 scm/cmf 中放置配置的数据表为 configs。里面包含了服务的配置信息

每一次配置的更改会把当前页面的所有配置内容添加到数据库中，以此保存配置修改历史。

·  查看配置内容

  a. 直接查询 cmf 数据库的 configs 数据表的内容。

  b. 访问 REST API：http://172.16.101.66:7180/api/v4/cm/deployment，返回 JSON 格式部署配置信息。

·  配置生成方式

CM 为每个服务进程生成独立的配置目录（文件）。所有配置统一在服务端查询数据库生成（因为 scm/cmf 数据库只能在 localhost 下访问）生成配置文件，再由 agent 通过网络下载包含配置文件的 zip 包到本地解压到指定的目录。

·  配置修改

CM 对于需要修改的配置预先定义，对于没有预先定义的配置, 则通过在高级配置项中使用 xml 配置片段的方式进行配置。而对于 /etc/hadoop/ 下的配置文件是客户端的配置，可以在 CM 通过部署客户端生成客户端配置。

·  环境变量脚本:/opt/cloudera/parcels/CDH/meta/cdh_env.sh

  CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop

  HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop

#CM 客户端 / 服务端、Hadoop 各个组件的配置文件都在 /etc 目录下

 HDFS
 Active NameNode 数据目录   dfs.name.dir
 /dfs/nn
 Standby NameNode 数据目录   dfs.name.dir
 /dfs/nn
 Secondary NameNode HDFS 检查点目录 fs.checkpoint.dir
 /dfs/nn
  日志目录 hadoop.log.dir
 /var/log/hadoop-hdfs
 MapReduce
 JobTracker 本地数据目录 mapred.local.dir
 /mapred/jt
 TaskTracker 本地数据目录列表 mapred.local.dir
 /mapred/local
  日志目录 hadoop.log.dir
 /var/log/hadoop-0.20-mapreduce 
 Hive
  仓库目录 hive.metastore.warehouse.dir
 /user/hive/warehouse
 HiveServer2 日志目录
 /var/log/hive
 Zookeeper
  数据目录 dataDir
 /var/lib/zookeeper
  事务日志目录 dataLogDir
 /var/lib/zookeeper 3. CM 常用命令

  service cloudera-scm-server start|stop|restart|status

  service cloudera-scm-server-db start|stop|restart|status

  service cloudera-scm-agent start|stop|restart|status

  查看进程:jps / jps -l

4. Hadoop Shell

  hadoop fs -ls /: 列出 hdfs 文件系统根目录下的目录和文件

  hadoop fs -ls -R /: 列出 hdfs 文件系统所有的目录和文件

  hadoop dfsadmin –report : 查看文件系统的基本信息和统计信息

感谢各位的阅读，以上就是“CDH5 基础知识点有哪些”的内容了，经过本文的学习后，相信大家对 CDH5 基础知识点有哪些这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是丸趣 TV，丸趣 TV 小编将为大家推送更多相关知识点的文章，欢迎关注！