IT貓撲網(wǎng):您身邊最放心的安全下載站! 最新更新|軟件分類(lèi)|軟件專(zhuān)題|手機(jī)版|論壇轉(zhuǎn)貼|軟件發(fā)布

您當(dāng)前所在位置: 首頁(yè)數(shù)據(jù)庫(kù)Oracle → 如何加速Oracle大批量數(shù)據(jù)處理

如何加速Oracle大批量數(shù)據(jù)處理

時(shí)間:2015-06-28 00:00:00 來(lái)源:IT貓撲網(wǎng) 作者:網(wǎng)管聯(lián)盟 我要評(píng)論(0)

  一、提高DML操作的辦法:

  簡(jiǎn)單說(shuō)來(lái):

 ?。?、暫停索引,更新后恢復(fù).避免在更新的過(guò)程中涉及到索引的重建.

 ?。病⑴扛?,每更新一些記錄后及時(shí)進(jìn)行提交動(dòng)作.避免大量占用回滾段和或臨時(shí)表空間.

 ?。场?chuàng)建一臨時(shí)的大的表空間用來(lái)應(yīng)對(duì)這些更新動(dòng)作.

  4、批量更新,每更新一些記錄后及時(shí)進(jìn)行提交動(dòng)作.避免大量占用回滾段和或臨時(shí)表空間.

  5、創(chuàng)建一臨時(shí)的大的表空間用來(lái)應(yīng)對(duì)這些更新動(dòng)作.

  6、加大排序緩沖區(qū)

  alter session set sort_area_size=100000000;

  insert into tableb select * from tablea;

  commit;

  如果UPDATE的是索引字段,就會(huì)涉及到索引的重建,暫停索引不會(huì)提高多少的速度,反而有可能降低UPDATE速度,

  因?yàn)樵诟率撬饕梢蕴岣邤?shù)據(jù)的查詢(xún)速度,重建索引引起的速度降低影響不大。

  ORACLE優(yōu)化修改參數(shù)最多也只能把性能提高15%,大部分都是SQL語(yǔ)句的優(yōu)化!

  update總體來(lái)說(shuō)比insert要慢 :

  幾點(diǎn)建議:

  1、如果更新的數(shù)據(jù)量接近整個(gè)表,就不應(yīng)該使用index而應(yīng)該采用全表掃描

  2、減少不必要的index,因?yàn)閡pdate表通常需要update index

  3、如果你的服務(wù)器有多個(gè)cpu,采用parellel hint,可以大幅度的提高效率

  另外,建表的參數(shù)非常重要,對(duì)于更新非常頻繁的表,建議加大PCTFREE的值,以保證數(shù)據(jù)塊中有足夠的空間用于UPDATE, 從而降低CHAINED_ROWS。

  二、各種批量DML操作:

  (1)、oracle批量拷貝:

  set arraysize 20

  set copycommit 5000

  copy from username/password@oraclename append table_name1

  using select * from table_name2;

 ?。?)、常規(guī)插入方式:

  insert into t1 select * from t;

  為了提高速度可以使用下面方法,來(lái)減少插入過(guò)程中產(chǎn)生的日志:

  alter table t1 nologging;

  insert into t1 select * from t;

  commit;

  (3)、CTAS方式:

  create table t1

  as

  select * from t;

  為了提高速度可以使用下面方法,來(lái)減少插入過(guò)程中產(chǎn)生的日志,并且可以制定并行度:

  create table t1 nologging parallel(degree 2) as select * from t;

#p#副標(biāo)題#e#

  (4)、Direct-Path插入:

  insert /*+append*/ into t1 select * from t;

  commit;

  為了提高速度可以使用下面方法,來(lái)減少插入過(guò)程中產(chǎn)生的日志:

  alter table t1 nologging;

  insert /*+append*/ into t1 select * from t;

  Direct-Path插入特點(diǎn):

  1、 append只在insert … select …中起作用,像insert /*+ append */ into t values(…)這類(lèi)的語(yǔ)句是不起作用的。在update、delete操作中,append也不起作用。

  2、 Direct-Path會(huì)使數(shù)據(jù)庫(kù)不記錄直接路徑導(dǎo)入的數(shù)據(jù)的重做日志,會(huì)對(duì)恢復(fù)帶來(lái)麻煩。

  3、 Direct-Path直接在表段的高水位線以上的空白數(shù)據(jù)塊中寫(xiě)數(shù)據(jù),不會(huì)重用高水位線以下的空間,會(huì)對(duì)空間的使用造成一定的浪費(fèi),對(duì)查詢(xún)的性能也會(huì)造成一定的影響。而常規(guī)插入會(huì)優(yōu)先考慮使用高水位線之下有空閑空間存在的數(shù)據(jù)塊。因此理論上Direct-Path插入會(huì)比常規(guī)插入速度更快,因?yàn)镈irect-Path直接使用新數(shù)據(jù)塊,而常規(guī)插入要遍歷freelist獲取可用空閑數(shù)據(jù)塊,如果同 nologging 配合,這種速度優(yōu)勢(shì)會(huì)更加明顯。

  4、 以append方式插入記錄后,要執(zhí)行commit,才能對(duì)表進(jìn)行查詢(xún)。否則會(huì)出現(xiàn)錯(cuò)誤:ORA-12838: 無(wú)法在并行模式下修改之后讀/修改對(duì)象。

  5、 用append導(dǎo)入數(shù)據(jù)后,如果沒(méi)有提交或者回滾,在其他會(huì)話中任何對(duì)該表的DML都會(huì)被阻塞(不會(huì)報(bào)錯(cuò)),但對(duì)該表的查詢(xún)可以正常執(zhí)行。

  6、 在歸檔模式下,要把表設(shè)置為nologging,然后以append方式批量添加記錄,才會(huì)顯著減少redo數(shù)量。在非歸檔模式下,不必設(shè)置表的 nologging屬性,即可減少redo數(shù)量。如果表上有索引,則append方式批量添加記錄,不會(huì)減少索引上產(chǎn)生的redo數(shù)量,索引上的redo 數(shù)量可能比表的redo數(shù)量還要大。

  7、 數(shù)據(jù)直接插入數(shù)據(jù)文件,繞過(guò)buffer cache并且忽略了引用完整性約束。

  8、 不管表是否在nologging 下,只要是 direct? insert,就不會(huì)對(duì)數(shù)據(jù)內(nèi)容生成undo。

  9、 Oracle在Direct-Path INSERT 操作末尾,對(duì)具有索引的表執(zhí)行索引維護(hù),這樣就避免了在drop掉索引后,再rebuild。

  10、Direct-Path INSERT比常規(guī)的插入需要更多的空間。因?yàn)樗鼘?shù)據(jù)插入在高水位之上。并行插入非分區(qū)表需要更多的空間,因?yàn)樗枰獮槊恳粋€(gè)并行線程創(chuàng)建臨時(shí)段。

  11、在插入期間,數(shù)據(jù)庫(kù)在表上獲得排他鎖,用戶(hù)不能在表上執(zhí)行并行插入、更新或者刪除操作,并行的索引創(chuàng)建和build也不被允許。但卻可以并行查詢(xún),但查詢(xún)返回的是插入之前的結(jié)果集。

 ?。?)、并行DML:

  如果你的服務(wù)器有多個(gè)cpu,采用parellel hint,可以大幅度的提高效率

  ALTER SESSION ENABLE PARALLEL DML;

  INSERT /*+ PARALLEL(tableA, 2) */INTO tableA

  SELECT * FROM tableB;

  為了提高速度可以使用下面方法,來(lái)減少插入過(guò)程中產(chǎn)生的日志:

  INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING

  SELECT * FROM tableB;

  oracle默認(rèn)并不會(huì)打開(kāi)PDML,對(duì)DML語(yǔ)句必須手工啟用。即需要執(zhí)行

  alter table enable parallel dml命令。

  并行DML特點(diǎn):

  1、在并行DML模式中,默認(rèn)的就是DIRECT-PATH插入,為了運(yùn)行并行DML模式,必須滿(mǎn)足以下條件:

  a、必須是Oracle企業(yè)版;

  b、必須在session中使并行DML生效,執(zhí)行以下sql語(yǔ)句:

  ALTER SESSION { ENABLE | FORCE } PARALLEL DML;

  c、必須指定table的并行屬性,在創(chuàng)建的時(shí)候或者其他時(shí)候,或者在insert操作時(shí)使用"PARALLEL"提示。

  d、為了使Direct-Path Insert模式失效,在INSERT語(yǔ)句中指定"NOAPPEND"提示,覆蓋并行DML模式。

  2、并行Direct-Path INSERT到分區(qū)表:

  類(lèi)似于serial Direct-Path INSERT,每個(gè)并行操作分配給一個(gè)或者多個(gè)分區(qū),每個(gè)并行操作插入數(shù)據(jù)到各自的分區(qū)段的高水位標(biāo)志之上,commit之后,用戶(hù)就能看到更新的數(shù)據(jù)。

  3、并行Direct-Path INSERT到非分區(qū)表:

  每個(gè)并行執(zhí)行分配一個(gè)新的臨時(shí)段,并插入數(shù)據(jù)到臨時(shí)段。當(dāng)commit運(yùn)行后,并行執(zhí)行協(xié)調(diào)者合并新的臨時(shí)段到主表段,用戶(hù)就能看到更新的數(shù)據(jù)。

  4、Direct-Path INSERT可以使用Log或者不使用Log。

  5、另外不得不說(shuō)的是,并行不是一個(gè)可擴(kuò)展的特性,只有在數(shù)據(jù)倉(cāng)庫(kù)或作為DBA等少數(shù)人的工具在批量數(shù)據(jù)操作時(shí)利于充分利用資源,而在OLTP環(huán)境下使用并行需要非常謹(jǐn)慎。事實(shí)上PDML還是有比較多的限制的,例如不支持觸發(fā)器,引用約束,高級(jí)復(fù)制和分布式事務(wù)等特性,同時(shí)也會(huì)帶來(lái)額外的空間占用,PDDL同 樣是如此。

關(guān)鍵詞標(biāo)簽:加速Oracle大批量數(shù)據(jù)

相關(guān)閱讀

文章評(píng)論
發(fā)表評(píng)論

熱門(mén)文章 Oracle中使用alter table來(lái)增加,刪除,修改列的語(yǔ)法 Oracle中使用alter table來(lái)增加,刪除,修改列的語(yǔ)法 oracle中使用SQL語(yǔ)句修改字段類(lèi)型-oracle修改SQL語(yǔ)句案例 oracle中使用SQL語(yǔ)句修改字段類(lèi)型-oracle修改SQL語(yǔ)句案例 誤刪Oracle數(shù)據(jù)庫(kù)實(shí)例的控制文件 誤刪Oracle數(shù)據(jù)庫(kù)實(shí)例的控制文件 為UNIX服務(wù)器設(shè)置Oracle全文檢索 為UNIX服務(wù)器設(shè)置Oracle全文檢索

相關(guān)下載

    人氣排行 oracle中使用SQL語(yǔ)句修改字段類(lèi)型-oracle修改SQL語(yǔ)句案例 Oracle中使用alter table來(lái)增加,刪除,修改列的語(yǔ)法 ORACLE SQL 判斷字符串是否為數(shù)字的語(yǔ)句 ORACLE和SQL語(yǔ)法區(qū)別歸納(1) oracle grant 授權(quán)語(yǔ)句 ORACLE修改IP地址后如何能夠使用 如何加速Oracle大批量數(shù)據(jù)處理 Oracle刪除表的幾種方法