2021国产精品成人免费视频,国产高清在线观看免费不卡

您當(dāng)前所在位置：首頁 → 數(shù)據(jù)庫 → MSSQL → 實(shí)戰(zhàn)手記：讓百萬級數(shù)據(jù)瞬間導(dǎo)入SQL Server

實(shí)戰(zhàn)手記：讓百萬級數(shù)據(jù)瞬間導(dǎo)入SQL Server 時間：2015-06-28 00:00:00 來源：IT貓撲網(wǎng) 作者：網(wǎng)管聯(lián)盟 我要評論(1)

想必每個DBA都喜歡挑戰(zhàn)數(shù)據(jù)導(dǎo)入時間，用時越短工作效率越高，也充分的能夠證明自己的實(shí)力。實(shí)際工作中有時候需要把大量數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫，然后用于各種程序計(jì)算，本文將向大家推薦一個挑戰(zhàn)4秒極限讓百萬級數(shù)據(jù)瞬間導(dǎo)入SQL Server實(shí)驗(yàn)案例。

本實(shí)驗(yàn)將使用5中方法完成這個過程，并詳細(xì)記錄各種方法所耗費(fèi)的時間。所用到工具為Visual Studio 2008和SQL Server 2000、SQL Server 2008，分別使用5中方法將100萬條數(shù)據(jù)導(dǎo)入SQL Server 2000與SQL Server 2008中，實(shí)驗(yàn)環(huán)境是DELL 2850雙2.0GCPU，2G內(nèi)存的服務(wù)器。感興趣的朋友可以下載源代碼自己驗(yàn)證一下所用時間。

好了，下面我們分別使用基本的Insert 語句、使用BULK INSERT語句、在多線程中使用BULK INSERT、使用SqlBulkCopy類、在多線程中使用SqlBulkCopy類五種方法，挑戰(zhàn)4秒極限。還要有一點(diǎn)需要進(jìn)行說明，本實(shí)驗(yàn)中執(zhí)行SQL語句的地方使用了IsLine FrameWork框架中的DataProvider模塊，這個模塊只是對SQL配置的讀取和封裝，并不會對最終結(jié)果有本質(zhì)性的影響，關(guān)于IsLine FrameWork框架方面的知識，請參考"IsLine FrameWork"框架系列文章。

數(shù)據(jù)庫方面使用SQL Server 2000與SQL Server 2008，表名TableB，字段名稱為Value1，數(shù)據(jù)庫名可以在App.config中修改，默認(rèn)為test。

方法一.使用基本的Insert 語句

這種方法是最基本的方法，大多數(shù)人一開始都會想到這種方法。但是Insert語句似乎并不適合大批量的操作，是不是這樣呢?

本方法中將100萬數(shù)據(jù)分為10個批次，每個批次10萬條，每10萬條1個事務(wù)，分10次導(dǎo)入數(shù)據(jù)庫。

-->基本語句:

Insert Into TableB (Value1) values (‘"+i+"’); 說明：語句中的i是宿主程序中的一個累加變量，用于填充數(shù)據(jù)庫字段中的值。

SQL Server 2000 耗時：901599

SQL Server 2008耗時：497638

方法二.使用BULK INSERT語句

這個類的效果，在本實(shí)驗(yàn)中可以說是最令人滿意的了，它的使用最簡便、靈活，速度很快。

"BULK INSERT"語句似乎不是很常用， Aicken聽說Oracle中有一種可以將外部文件映射為Oracle臨時表，然后直接將臨時表中的數(shù)據(jù)導(dǎo)入Oracle其他表中的方法，這種方法的速度非常令人滿意，SQL SERVER的BULK INSERT是不是同樣令人滿意呢?

-->　基本語句：

BULK INSERT TableB FROM '

c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER

/.,mbMINATOR='|',BATCHSIZE = 100000)

說明："c:\\sql.txt"是一個預(yù)先生成的包含100條數(shù)據(jù)的文件，這些數(shù)據(jù)以"|"符號分隔，每10萬條數(shù)據(jù)一個事務(wù)。

SQL Server 2000耗時：4009

SQL Server 2008耗時：10722

方法三.在多線程中使用BULK INSERT

在方法二的基礎(chǔ)上，將100萬條數(shù)據(jù)分五個線程，每個線程負(fù)責(zé)20萬條數(shù)據(jù)，每5萬條一個事物，五個線程同時啟動，看看這樣的效果吧。

SQL Server 2000耗時：21099

SQL Server 2008耗時：10997

方法四.使用SqlBulkCopy類

這種方法速度也很快，但是要依賴內(nèi)存，對于幾千萬條、多字段的復(fù)雜數(shù)據(jù)，可能在內(nèi)存方面會有較大的消耗，不過可以使用64位解決方案處理這個問題。

幾千萬條、多字段的數(shù)據(jù)的情況一般在一些業(yè)務(wù)場景中會遇到，比如計(jì)算全球消費(fèi)者某個業(yè)務(wù)周期消費(fèi)額時，要先獲得主數(shù)據(jù)庫表中的會員消費(fèi)記錄快照，并將快照儲存至臨時表中，然后供計(jì)算程序使用這些數(shù)據(jù)。并且有些時候消費(fèi)者的消費(fèi)數(shù)據(jù)并不在一臺數(shù)據(jù)庫服務(wù)器中，而是來自多個國家的多臺服務(wù)器，這樣我們就必須借助內(nèi)存或外存設(shè)備中轉(zhuǎn)這些數(shù)據(jù)，然后清洗、合并、檢測，最后導(dǎo)入專用表供計(jì)算程序使用。

基本語句：

using (System.Data.SqlClient.SqlBulkCopy sqlBC

= new System.Data.SqlClient.SqlBulkCopy(conn))

{ sqlBC.BatchSize = 100000; sqlBC.BulkCopyTimeout

= 60; sqlBC.DestinationTableName = "dbo.TableB";

sqlBC.ColumnMappings.Add("valueA", "Value1");

sqlBC.WriteToServer(dt); }

說明：

BatchSize = 100000; 指示每10萬條一個事務(wù)并提交

BulkCopyTimeout = 60; 指示60秒按超時處理

DestinationTableName = "dbo.TableB"; 指示將數(shù)據(jù)導(dǎo)入TableB表

ColumnMappings.Add("valueA", "Value1"); 指示將內(nèi)存中valueA字段與TableB中的Value1字段匹配