Oracle中如何配置HugePages内存

41次阅读

共计 7555 个字符，预计需要花费 19 分钟才能阅读完成。

这篇文章主要介绍 Oracle 中如何配置 HugePages 内存，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

一、为 oracle 服务器配置 Hugepages

1.1、查看当前系统是否配值 HugePages
下面的查询中 HugePages 相关的几个值都为 0，表明当前未配值 HugePages，其次可以看到 Hugepagesize 为 2MB。
$ grep Huge /proc/meminfo
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
Hugepagesize: 2048 kB

1.2、修改用户的 memlock 限制 (root 操作)
通过修改 /etc/security/limits.conf 配值文件来实现
该参数的值通常配值位略小于当前的已安装系统内存，如当前你的系统内存为 64GB，可以做如下设置
* soft memlock 664377747
* hard memlock 664377747
上述的设置单位为 kb，不会降低系统性能。至少也要配值为略大于系统上所有 SGA 的总和。
使用 ulimit -l 来校验该设置

1.3、禁用 AMM(Oracle 11g)
如果当前的 Oracle 版本为 10g，可以跳过此步骤。
如果当前的 Oracle 版本为 11g，由于 AMM(Automatic Memory Management)特性与 Hugepages 不兼容，需要禁用 AMM。
ALTER SYSTEM RESET memory_target SCOPE=SPFILE;
ALTER SYSTEM RESET memory_max_target SCOPE=SPFILE;
ALTER SYSTEM SET sga_target= n g SCOPE=SPFILE;
ALTER SYSTEM SET pga_aggregate_target= n g SCOPE=SPFILE;
SHUTDOWN IMMEDIATE;
STARTUP;

—————————————————————–
禁用 memory_max_target 和 memory_target 参数方法
这里注意，官方文档说的是“unset”，直接 alter system set memory_target=0 scope=spfile; 是更改不成功的。直接设置为‘0’，就抱如下的错误
ORA-00843: Parameter not taking MEMORY_MAX_TARGET into account
ORA-00849: SGA_TARGET 35433480192 cannot be set to more than MEMORY_MAX_TARGET 0.
ORA-01078: failure in processing system parameters
通过创建 pfile.ora 文件，然后在文件里删除两个参数 MEMORY_TARGET/MEMORY_MAX_TARGET。然后再创建 spfile 就可以了。
—————————————————————–

1.4、计算 vm.nr_hugepages 的值（Oracle 用户执行）
使用 Oracle 提供的脚本 hugepages_settings.sh 的脚本来计算 vm.nr_hugepages 的值
在执行脚本之前确保所有的 Oracle 实例已启动以及 ASM 也启动 (存在的情形下)
若 HugePages 配置可行，他就会推荐一个内存大小，若不可行则报错
$ ./hugepages_settings.sh（具体脚本，后文有展示）
…
Recommended setting: vm.nr_hugepages = 1496（sga_m / 4m + 3）

1.5、编辑 /etc/sysctl.conf 来设置 vm.nr_hugepages 参数（root 操作）
$ sysctl -w vm.nr_hugepages = 125447
$ sysctl -p

1.6、停止所有的 Instance 并重启 server
上述的所有步骤已经实现了动态修改，但对于 HugePages 的分配需要重新启动 server 才能生效。

1.7、验证配值
HugePages 相关参数的值会随着当前服务器上的实例的停止与启动而动态发生变化
通常情况下，HugePages_Free 的值应当小于 HugePages_Total 的值，在 HugePages 被使用时 HugePages_Rsvd 值应当为非零值。
$ grep Huge /proc/meminfo
HugePages_Total: 131
HugePages_Free: 20
HugePages_Rsvd: 20
Hugepagesize: 2048 kB

如下面的情形，当服务器上仅有的一个实例被关闭后，HugePages_Rsvd 的值为零。且 HugePages_Free 等于 HugePages_Total
$ grep Huge /proc/meminfo
HugePages_Total: 131
HugePages_Free: 131
HugePages_Rsvd: 0
Hugepagesize: 2048 kB

二、使用 HugePages 的注意事项
下面的三种情形应当重新配置 HugePages
a、物理内存的增减或减少
b、在当前服务器上新增或移出 Instance
c、Instance 的 SGA 大小增加或减少
如果未能调整 HugePages，可能会引发下面的问题
a、数据库性能地下
b、出现内存不足或者过度使用交换空间
c、数据库实例不能被启动
d、关键性系统服务故障

三、HugePages 特性的常见故障处理
Symptom A：
System is running out of memory or swapping
Possible Cause：
Not enough HugePages to cover the SGA(s) and therefore the area reserved for HugePages are wasted where SGAs are allocated through regular pages.
Troubleshooting Action：
Review your HugePages configuration to make sure that all SGA(s) are covered.

Symptom B：
Databases fail to start
Possible Cause：
memlock limits are not set properly
Troubleshooting Action：
Make sure the settings in limits.conf apply to database owner account.

Symptom C：
One of the database fail to start while another is up
Possible Cause：
The SGA of the specific database could not find available HugePages and remaining RAM is not enough.
Troubleshooting Action：
Make sure that the RAM and HugePages are enough to cover all your database SGAs

Symptom D：
Cluster Ready Services (CRS) fail to start
Possible Cause：
HugePages configured too large (maybe larger than installed RAM)
Troubleshooting Action：
Make sure the total SGA is less than the installed RAM and re-calculate HugePages.

Symptom E：
HugePages_Total = HugePages_Free
Possible Cause：
HugePages are not used at all. No database instances are up or using AMM.
Troubleshooting Action：
Disable AMM and make sure that the database instances are up.

Symptom F：
Database started successfully and the performance is slow
Possible Cause：
The SGA of the specific database could not find available HugePages and therefore the SGA is handled by regular pages, which leads to slow performance
Troubleshooting Action：
Make sure that the HugePages are many enough to cover all your database SGAs
Reference: [ID 361468.1]

四、如何控制数据库 SGA 是否使用 Hugepages？
11.2.0.2 之前的版本，database 的 SGA 只能选择全部使用 hugepages 或者完全不使用 hugepages。
11.2.0.2 及以后的版本, oracle 增加了一个新的参数“USE_LARGE_PAGES”来管理数据库如何使用 hugepages.
USE_LARGE_PAGES 参数有三个值: true (default), only , false and auto (since 11.2.0.3 patchset).
1. 现在默认值是 true，如果系统设置 Hugepages 的话，SGA 会优先使用 hugepages，有多少用多少。
11.2.0.2 如果没有足够的 hugepages, SGA 是不会使用 hugepages 的. 这会导致 ORA-4030 错误，因为 hugepages 已经从物理内存分配，但是 SGA 没有使用它，却使用其他部分内存，导致内存资源不足
但是在 11.2.0.3 版本这个使用策略被改变了，SGA 可以一部分使用 hugepages，剩余部分使用 small pages。这样，SGA 会有限使用 hugepages，在 hugepages 用完之后，再使用 regular sized pages。
2. 如果设置为 false，SGA 就不会使用 hugepages
3. 如果设置为 only 如果 hugepages 大小不够的话，数据库实例是无法启动的 (防止内存溢出的情况发生).
4. 11.2.0.3 版本之后，可以设置为 auto . 这个选项会触发 oradism 进程重新配置 linux 内核，以增加 hugepages 的数量。Oradism 需要被赋予相应的权限，如下
-rwsr-x— 1 root oracle group
它不会去改变 /etc/sysctl.conf 文件中的 hugepages 值，当 OS 重启后，系统会再恢复到 /etc/sysctl.conf 中配置的 hugepages 值。

五、注意事项
a、HugePage 使用的是共享内存，在操作系统启动期间被动态分配并被保留，因为他们不会被置换。
b、由于不会被置换的特点，在使用 hugepage 的内存不能被其他的进程使用。所以要合理设置该值，避免造成内存浪费。
c、对于只使用 Oracle 的服务器来说，把 Hugepage 设置成 SGA(所有 instance SGA 之和) 大小即可。
d、如果增加 HugePage 或添加物理内存或者是当前服务器增加了新的 instance 以及 SGA 发生变化，应该重新设置所需的 HugePage。

— hugepages_settings.sh 脚本
若 HugePages 配置可行，他就会推荐一个内存大小，若不可行则报错
#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
# on Oracle Linux
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
#
# This script is provided by Doc ID 401749.1 from My Oracle Support
# http://support.oracle.com
# Welcome text
echo
This script is provided by Doc ID 401749.1 from My Oracle Support
(http://support.oracle.com) where it is intended to compute values for
the recommended HugePages/HugeTLB configuration for the current shared
memory segments on Oracle Linux. Before proceeding with the execution please note following:
* For ASM instance, it needs to configure ASMM instead of AMM.
* The pga_aggregate_target is outside the SGA and
you should accommodate this while calculating SGA size.
* In case you changes the DB SGA size,
as the new SGA will not fit in the previous HugePages configuration,
it had better disable the whole HugePages,
start the DB with new SGA size and run the script again.
And make sure that:
* Oracle Database instance(s) are up and running
* Oracle Database 11g Automatic Memory Management (AMM) is not setup
(See Doc ID 749851.1)
* The shared memory segments can be listed by command:
# ipcs -m
Press Enter to proceed…
read
# Check for the kernel version
KERN=`uname -r | awk -F. {printf( %d.%d\n ,$1,$2); } `
# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {print $2} `
if [-z $HPG_SZ];then
echo The hugepages may not be supported in the system where the script is being executed.
exit 1
fi
# Initialize the counter
NUM_PG=0
# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | cut -c44-300 | awk {print $1} | grep [0-9][0-9]* `
do
MIN_PG=`echo $SEG_BYTES/($HPG_SZ*1024) | bc -q`
if [$MIN_PG -gt 0]; then
NUM_PG=`echo $NUM_PG+$MIN_PG+1 | bc -q`
fi
done
RES_BYTES=`echo $NUM_PG * $HPG_SZ * 1024 | bc -q`
# An SGA less than 100MB does not make sense
# Bail out if that is the case
if [$RES_BYTES -lt 100000000]; then
echo ***********
echo ** ERROR **
echo ***********
echo Sorry! There are not enough total of shared memory segments allocated for
HugePages configuration. HugePages can only be used for shared memory segments
that you can list by command:
# ipcs -m
of a size that can match an Oracle Database SGA. Please make sure that:
* Oracle Database instance is up and running
* Oracle Database 11g Automatic Memory Management (AMM) is not configured
exit 1
fi
# Finish with results
case $KERN in
2.2 ) echo Kernel version $KERN is not supported. Exiting. ;
2.4 ) HUGETLB_POOL=`echo $NUM_PG*$HPG_SZ/1024 | bc -q`;
echo Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL ;
2.6 ) echo Recommended setting: vm.nr_hugepages = $NUM_PG ;
3.8 ) echo Recommended setting: vm.nr_hugepages = $NUM_PG ;
3.10 ) echo Recommended setting: vm.nr_hugepages = $NUM_PG ;
4.1 ) echo Recommended setting: vm.nr_hugepages = $NUM_PG ;
esac
# End
结果如下
[oracle@n3 ~]$ chmod +x hugepages_settings.sh
[oracle@n3 ~]$ sh hugepages_settings.sh
Press Enter to proceed…