.net2.0中使用SqlBulkCopy进行大批量数据迁移

核心提示：在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中，还是进行不同数据源之间的迁移，.net2.0中使用SqlBulkCopy进行大批量数据迁移，都不是很方便，而在.Net2.0中，可以看见请求记录非常少，只有几条而已，SQLClient命名空间下增加了几个新类帮助我们通过DataTable

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中，还是进行不同数据源之间的迁移，都不是很方便。而在.Net2.0中，SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者xml文件，甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类，使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用：

DateTime startTime;
　  PRotected void Button1_Click(object sender, EventArgs e)
　  {
　　　  startTime = DateTime.Now;
　　　  string SrcConString;
　　　  string DesConString;
　　　  SqlConnection SrcCon = new SqlConnection();
　　　  SqlConnection DesCon = new SqlConnection();
　　　  SqlCommand SrcCom = new SqlCommand();
　　　  SqlDataAdapter SrcAdapter = new SqlDataAdapter();
　　　  DataTable dt = new DataTable();
　　　  SrcConString =
　　　  ConfigurationManager.ConnectionStrings["SrcDBConnectionString"].ConnectionString;
　　　  DesConString =
　　　  ConfigurationManager.ConnectionStrings["DesDBConnectionString"].ConnectionString;
　　　  SrcCon.ConnectionString = SrcConString;
　　　  SrcCom.Connection = SrcCon;
　　　  SrcCom.CommandText = " SELECT * From [SrcTable]";
　　　  SrcCom.CommandType = CommandType.Text;
　　　  SrcCom.Connection.Open();
　　　  SrcAdapter.SelectCommand = SrcCom;
　　　  SrcAdapter.Fill(dt);
　　　  SqlBulkCopy DesBulkOp;
　　　  DesBulkOp = new SqlBulkCopy(DesConString,
　　　  SqlBulkCopyOptions.UseInternalTransaction);
　　　  DesBulkOp.BulkCopyTimeout = 500000000;
　　　  DesBulkOp.SqlRowsCopied +=
　　　  new SqlRowsCopiedEventHandler(OnRowsCopied);
　　　  DesBulkOp.NotifyAfter = dt.Rows.Count;
　　　  try
　　　  {
　　　　　  DesBulkOp.DestinationTableName = "SrcTable";
　　　　　  DesBulkOp.WriteToServer(dt);
　　　  }
　　　  catch (Exception ex)
　　　  {
　　　　　  lblResult.Text = ex.Message;
　　　  }
　　　  finally
　　　  {
　　　　　  SrcCon.Close();
　　　　　  DesCon.Close();
　　　  }
　  }

　  private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
　  {
　　　  lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
　　　  TimeSpan copyTime = DateTime.Now - startTime;
　　　  lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
　  }
接着具体分析这几行代码：
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);先生成SqlBulkCopy 实例，构造函数指定了目标数据库，使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中，如果数据迁移中产生错误或异常将发生回滚。其他选项请参考MSDN。

DesBulkOp.BulkCopyTimeout = 500000000;
指定操作完成的Timeout时间

　  DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);
　　　  DesBulkOp.NotifyAfter = dt.Rows.Count;
　　　  try
　　　  {
　　　　　  DesBulkOp.DestinationTableName = "SrcTable";
　　　　　  DesBulkOp.WriteToServer(dt);
　　　  }
NotifyAfter属性指定通知通知事件前处理的数据行数，在这里指定为表的行数，并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性，也就是目标数据库的表名，

我们还可以自己定义一个Transaction,例如：

SqlTransaction Transaction;
Transaction =
SrcCom.Connection.BeginTransaction();
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString),
SqlBulkCopyOptions.Default,
Transaction);

try
{　 
//..
}
catch{}　 
finally
{
Transaction.Commit();
}
另外还有一个SqlBulkCopyColumnMapping类，可以让数据源字段映射到目标数据中命名不同的字段上。也就是说如果目标数据和源数据的列名不同时，可以用这个类进行映射：
SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol", "DesCol");
DesBulkOp.ColumnMappings.Add(ColMap);
或者可以直接添加映射：
DesBulkOp.ColumnMappings.Add("SrcCol", "DesCol");
性能问题：
我使用上面的例子测试，迁移了2万条左右的记录，花的时间不到一秒，应改说性能还是不错的。另外，使用SQL Profile监视迁移事件，可以看见请求记录非常少，只有几条而已。据说使用SqlBulkCopy可以大大减少数据迁移的时间。

http://justicfu.cnblogs.com/archive/2006/06/23/433887.html