oracle-高水位

高水位线

(HWM)是数据块未格式化且从未使用过的段中的分界点,也可以想象为一个水库的历史最高水位。

MSSM使用free lists来管理段空间。创建表格时,段中的任何块都不会格式化。当会话首次向表中插入行时,数据库会在可用列表中搜索可用块。如果数据库找不到可用的块,则会预生成一组块,将它们放在空闲列表中,并开始向块中插入数据。在MSSM中,全表扫描读取HWM下的所有块。

ASSM不使用free lists,因此必须以不同的方式管理空间。当会话首次将数据插入表中时,数据库将格式化单个位图块,而不是像MSSM中那样预先格式化一组块。位图跟踪段中块的状态,代替free lists。数据库使用位图查找空闲块,然后在用数据填充每个块之前对其进行格式化。ASSM在块之间展开插入以避免并发问题。

ASSM段中的每个数据块都处于以下状态之一:
HWM上方:
1、这些块未格式化,从未使用过。
HWM下方这些块处于以下状态之一:
1、已分配,但当前未格式化且未使用
2、格式化并包含数据
3、已格式化且为空,因为数据已删除

将ASSM段描述为一系列水平块。如下图,创建一个空表格时,HWM位于左侧段的开头。由于尚未插入任何数据,因此段中的所有块都未格式化且从未使用过。

假设事务将行插入到段中。数据库必须分配一组块来保存行。分配的块低于HWM。数据库格式化此组中的位图块以保存元数据,但不预处理组中的其余块。

如下图,在HWM以下的块是已分配的块,在HWM以上的是未分配的块。当数据写入发生时那么low hwm对应的分界点左侧就是实际存在数据或者被格式化的块。

数据库在HWM和低HWM之间选择一个块,并对其进行写入。数据库可以很容易地在HWM和低HWM之间选择任何其他块,或者在低HWM下选择任何具有可用空间的块。

当low hwm和hwm之间没有空余块可用的时候,数据块会移动hwm并分配一组没有格式化的块。原来的low hwm会移动到之前的hwm,新的hwm会移动到新的位置。


总结来说:

在MSSM表空间中每个段只有一个HWM,在ASSM表空间中,除了HWM外,还有一个低HWM。

在MSSM中,当HWM向前推进时,HWM之下的所有块都会被格式化并立即有效,Oracle可以安全地读取这块。

而对于ASSM,HWM推进时,Oracle并不会立即格式化所有块,而是在第一次真正使用这些块时才会完成格式化,以便安全地读取(这里的“安全”意思就是判断是否格式化)。第一次使用会发生在数据库向给定块插入记录时。

对于ASSM,数据会被插入到位于低HWM和HWM之间的任意块中,而在这个区域中的许多块可能没有被格式化。新数据要插入,但是通过bitmap确认到HWM下空间不足,则HWM会向右推进,分配一组未被格式化的块。HWM向右推进后,low HWM向右移动到老HWM的位置。 注意:官方文档上额外说到,如果在 low HWM之下有空余空间的任何块,也会被插入。

HWM以上的都是未分配、未格式化,HWM以下的都是被分配了的,有的格式化,有的没有

low HWM以下的都是格式化了的。

全表扫描和HWM的关系

当Oracle全表扫描至HWM后,会对低HWM以下的所有块直接读取并加以处理。而对介于低HWM和HWM之间的块,需要参考管理这些块所用的ASSM位图信息以便查看应该读取哪些块,以及哪些块应该被忽略。

如何查看表的高水位实验

LUQX@oradb>select round((1-a.used/b.num_total)*100,0) percent from
(SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1) a,
(select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX') b;  2    3  

   PERCENT
----------
	 3     高水位下的空闲块为3%   如果超过20-30%建议关注。说明表碎片比较严重。

查看某个表实际使用的块。
方法一:
LUQX@oradb>select count (distinct dbms_rowid.rowid_block_number(rowid)||'-'||dbms_rowid.rowid_relative_fno (rowid)) "used blocks" from TEST1;

used blocks
-----------
       1589     #查看当前实际使用的块数量
 方法二:
 LUQX@oradb>SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1;   实际使用1589个block

      USED
----------
      1589  #查看当前实际使用的块数量

 查看分配的块
 建议收集统计信息后查看会更准确:analyze table tablename compute statistics;
LUQX@oradb>select blocks,empty_blocks,num_rows from dba_tables where table_name='TEST1';

    BLOCKS EMPTY_BLOCKS   NUM_ROWS
---------- ------------ ----------
      1630	     34    1048576         #查看当前已分配的块数量和行数(可以理解为hwm为1630+34=1664)
HWMBLOCKS = “Blocks Containing data” + “Empty blocks”    
BLOCKS represents the number of blocks 'ever' used by the segment. 
EMPTY_BLOCKS represents only the number of blocks above the 'HIGH WATER MARK' 

删除100万条记录
LUQX@oradb>delete from test1 where rownum<1000000;

999999 rows deleted.

LUQX@oradb>commit;

Commit complete.

LUQX@oradb>analyze table test1 compute statistics;

Table analyzed.

LUQX@oradb>select round((1-a.used/b.num_total)*100,0) percent from
(SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1) a,
(select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX') b;  2    3  

   PERCENT
---------- 
	95    高水位已经为95  那么此时需要注意了

LUQX@oradb>select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX';

 NUM_TOTAL
----------
      1630

LUQX@oradb>SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1;

      USED
----------
	74    实际使用为74个块

LUQX@oradb>select blocks,empty_blocks,num_rows from dba_tables where table_name='TEST1';

    BLOCKS EMPTY_BLOCKS   NUM_ROWS
---------- ------------ ----------
      1630	     34      48577     分配块及空闲块未变化。#理解为hwm未降低。

通过执行shrink space操作降低高水位
LUQX@oradb>alter table test1 enable row movement;

Table altered.

LUQX@oradb>alter table test1 shrink space;

Table altered.

LUQX@oradb>analyze table test1 compute statistics;    收集统计信息

Table analyzed.

LUQX@oradb>select round((1-a.used/b.num_total)*100,0) percent from
(SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1) a,
(select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX') b;  2    3  

   PERCENT
----------
	 0              #通过命令查看水位下已经没有空闲块。


LUQX@oradb>select blocks,empty_blocks,num_rows from dba_tables where table_name='TEST1';

    BLOCKS EMPTY_BLOCKS   NUM_ROWS
---------- ------------ ----------
	74	     14      48577                #同时分配的block数量也下降未74个

降低水位的几种方式

ANALYZE TABLE table_name COMPUTE STATISTICS; 分析表
SELECT blocks, empty_blocks, num_rows FROM dba_tables WHERE  table_name='table_name'; 查询高水位线
方法 1:
alter table table_name enable row movement; 开启行迁移(收缩表操做第一步)
alter table table_name shrink space ; 收缩表空间
alter table table_name disable row movement; 关闭行迁移
1 压缩segment,调整hwm,并马上释放空间
2 shrink是以行为单位重组数据,根据复杂算法从逻辑+物理重组数据
3 shrink的算法是从segment的底部开始,移动row到segment的顶部,移动的过程相当于delete/insert操作的组合,在这个过程中会产生大量的undo和redo信息。
4 耗时可能非常长,通常慢于move。
5 对于空间的要求,shrink不需要额外的空间。
ALTER TABLE TABLE_NAME ENABLE ROW MOVEMENT;
alter table <table_name> shrink space [ <null> | compact | cascade ];
alter table shrink space compact cascade;
ALTER TABLE TABLE_NAME DISABLE ROW MOVEMENT;
cascade: 缩小表及其索引,并移动高水位线,释放空间,这个参数是在shrink table的时候自动级联索引,相当于rebulid index。
compact: 仅仅是缩小表和索引,并不移动高水位线,不释放空间
加上compact选项仅重新整理segment 空间,并压缩表的记录在以后进行release空间。
但数据库并不调整hwm及释放空间.
为了释放空间.你必须再发布alter table shrink space
--compact用于把一个长操作分割为两个较短的操作
如果在业务繁忙时做压缩,可以使用alter table shrink space compact来对表格进行碎片整理,而不调整高水位线,之后再次调用alter table table_name shrink space来释放空间。
也可以使用alter table table_name shrink space cascade来同时对索引都进行收缩,这等同于同时执行alter index idxname shrink space。

方法 2:
alter table table_name move; 移动表需要新建索引 ,表空间需要有足够的空间用于move。可以指定别的表空间
1 会锁表
2 move是以block为单位重组数据,行的rowid都会跟着变化,索引会失效,需要重建索引。
3 需要准备两倍的空间。
create Index new_index On table_name(deptno); 单一索引
create Index new_index on table_name(deptno,job); 复合索引
方法 3:
truncate table table_name; 清空表
方法4:
导出导入表

show_space.sql

tom大神的show space语句可以快速的查看表的空间占用情况信息及表的碎片状态。

CREATE OR REPLACE PROCEDURE show_space(p_segname   IN VARCHAR2,
                                       p_owner     IN VARCHAR2 DEFAULT USER,
                                       p_type      IN VARCHAR2 DEFAULT 'TABLE',
                                       p_partition IN VARCHAR2 DEFAULT NULL) AS
  l_free_blks          NUMBER;
  l_total_blocks       NUMBER;
  l_total_bytes        NUMBER;
  l_unused_blocks      NUMBER;
  l_unused_bytes       NUMBER;
  l_lastusedextfileid  NUMBER;
  l_lastusedextblockid NUMBER;
  l_last_used_block    NUMBER;
  l_segment_space_mgmt VARCHAR2(255);
  l_unformatted_blocks NUMBER;
  l_unformatted_bytes  NUMBER;
  l_fs1_blocks         NUMBER;
  l_fs1_bytes          NUMBER;
  l_fs2_blocks         NUMBER;
  l_fs2_bytes          NUMBER;
  l_fs3_blocks         NUMBER;
  l_fs3_bytes          NUMBER;
  l_fs4_blocks         NUMBER;
  l_fs4_bytes          NUMBER;
  l_full_blocks        NUMBER;
  l_full_bytes         NUMBER;

  PROCEDURE p(p_label IN VARCHAR2,
              p_num   IN NUMBER) IS
  BEGIN
    dbms_output.put_line(rpad(p_label, 40, '.') ||
                         (p_num));
  END;
BEGIN
  EXECUTE IMMEDIATE 'select ts.segment_space_management from dba_segments seg,dba_tablespaces ts where seg.segment_name = :p_segname and (:p_partition is null or seg.partition_name = :p_partition) and seg.owner = :p_owner and seg.tablespace_name=ts.tablespace_name'
    INTO l_segment_space_mgmt
    USING p_segname, p_partition, p_partition, p_owner;

  --     exception
  --             when too_many_rows
  --             then
  --             dbms_output.put_line('This must be a partitioned table,use p_partition => ');
  --             return;
  --     end;

  IF l_segment_space_mgmt = 'AUTO' THEN
    dbms_space.space_usage(p_owner, p_segname, p_type, l_unformatted_blocks,
                           l_unformatted_bytes, l_fs1_blocks, l_fs1_bytes,
                           l_fs2_blocks, l_fs2_bytes, l_fs3_blocks, l_fs3_bytes,
                           l_fs4_blocks, l_fs4_bytes, l_full_blocks,
                           l_full_bytes, p_partition);

    p('Unformatted Blocks  ', l_unformatted_blocks);
    p('FS1 Blocks (0-25)   ', l_fs1_blocks);
    p('FS2 Blocks (25-50)  ', l_fs2_blocks);
    p('FS3 Blocks (50-75)  ', l_fs3_blocks);
    p('FS4 Blocks (75-100) ', l_fs4_blocks);
    p('Full Blocks         ', l_full_blocks);
  ELSE
    dbms_space.free_blocks(segment_owner => p_owner, segment_name => p_segname,
                           segment_type => p_type, freelist_group_id => 0,
                           free_blks => l_free_blks);
  END IF;

  dbms_space.unused_space(segment_owner => p_owner, segment_name => p_segname,
                          segment_type => p_type, partition_name => p_partition,
                          total_blocks => l_total_blocks,
                          total_bytes => l_total_bytes,
                          unused_blocks => l_unused_blocks,
                          unused_bytes => l_unused_bytes,
                          last_used_extent_file_id => l_lastusedextfileid,
                          last_used_extent_block_id => l_lastusedextblockid,
                          last_used_block => l_last_used_block);

  p('Total Blocks ', l_total_blocks);
  p('Total Bytes  ', l_total_bytes);
  p('Total MBytes ', trunc(l_total_bytes / 1024 / 1024));
  p('Unused Blocks', l_unused_blocks);
  p('Unused Bytes ', l_unused_bytes);
  p('Last Used Ext FileId', l_lastusedextfileid);
  p('Last Used Ext BlockId', l_lastusedextblockid);
  p('Last Used Block', l_last_used_block);
END;
/
Procedure created.

执行sql创建对应的存储过程

SYS@oradb>desc show_space;
PROCEDURE show_space
 Argument Name			Type			In/Out Default?
 ------------------------------ ----------------------- ------ --------
 P_SEGNAME			VARCHAR2		IN
 P_OWNER			VARCHAR2		IN     DEFAULT
 P_TYPE 			VARCHAR2		IN     DEFAULT
 P_PARTITION			VARCHAR2		IN     DEFAULT
 参数说明:
  p_segname:对像名称
  p_owner:对像所属用户名  
  p_type:对像类型(常用的:INDEX,TABLE,TABLE PARTITION,INDEX PARTITION,CLUSTER)
  p_partition :如果是分区对像,分区名
调用举例:
BEGIN
 SHOW_SPACE(p_segname => 'test',p_owner => 'test',p_type => 'TABLE PARTITION',p_partition => 'testp1');
END;
或 
exec show_space('test');

查看某个表的信息

查看空表信息:

表中插入数据查看状态

删除表中数据查看状态

执行shrink space后的效果

举报
评论 0