我这里有个例子，是整合数据后批次写入数据库的，只连接一次，希望对你有帮助
using (SqlBulkCopy bc = new SqlBulkCopy(conn, SqlBulkCopyOptions.Default, trans))
{
bc.DestinationTableName = "ExamDetails";//要插入的表的表名
bc.BatchSize = 10000;
bc.ColumnMappings.Add("Code", "Code");
//映射字段名 DataTable列名 ,数据库 对应的列名
bc.ColumnMappings.Add("Name", "Name");
bc.ColumnMappings.Add("Mobile", "Mobile");
bc.ColumnMappings.Add("Correct", "Correct");
bc.ColumnMappings.Add("Error", "Error");
bc.ColumnMappings.Add("Unknow", "Unknow");
bc.ColumnMappings.Add("SentCount", "SentCount");
bc.ColumnMappings.Add("Status", "Status");
bc.ColumnMappings.Add("ExamID", "ExamID");
bc.ColumnMappings.Add("QuestionID", "QuestionID");
try
{
bc.WriteToServer(all);
}
catch (Exception cd)
{
string cc = cd.Message;
}
}
for(int i=0;i<dgvDataList.Rows.Count;i++)
{
//Update .. set [要更新的列] =dgvDataList.Rows[i].Cells["控件中修改数据的列名"].ToString() where [主键列ID]=dgvDataList.Rows[i].Cells["主键列"].ToString()
}
海量数据转储备忘及C#的SqlBulkCopy类使用说明
2012-05-10 09:54 191人阅读 评论(2) 收藏 举报
今天遇到百万级数据转储，跟一众猿兄猿弟讨论了下，大概有下面几种解决方式：
1.从源导出为文件再导入目标（似乎会有问题，但这是小米加步枪时代的唯一解决办法）
2.使用ORACLE数据泵技术（这个好像从ORACLE到SQL不行）
3.使用C#的SqlBulkCopy控件（可行!付强同学分析，这玩意使用BCP协议，估计也集成了数据泵技术）
4.存储支持的物理快照（这个速度可以到秒级，但是非常贵。。。一般猿类和猴子用不起）
基本是这样了。。。
多谢 付强、张磊同学、NOPI群各位同仁，特别是不浪漫_罪名同学。。
下面的文章就是使用SqlBulkCopy的说明，转自
http://www.cnblogs.com/shikyoh/archive/2011/07/01/2095633.html
多谢原作者Shikyoh
在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中，还是进行不同数据源之间的迁移，都不是很方便。而 在.Net2.0中，SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关 系数据库或者XML文件，甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类，使用它可以很方便的帮助我们把数据源的数 据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用：
首先:web.config
<connectionStrings>
<add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
<add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
</connectionStrings>
C#文件: 前台不Copy了,就一个按钮,一个Label
using System;
using System.Data;
using System.Configuration;
using System.Collections;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Data.SqlClient;
public partial class ASP_NET : System.Web.UI.Page
{
private DateTime startTime;
protected void Button1_Click(object sender, EventArgs e)
{
startTime = DateTime.Now;
string srcConnString = "";
string desConnString = "";
SqlConnection srcConnection = new SqlConnection();
SqlConnection desConnection = new SqlConnection();
SqlCommand sqlcmd = new SqlCommand();
SqlDataAdapter da = new SqlDataAdapter();
DataTable dt = new DataTable();
//srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
//srcConnection.ConnectionString = srcConnString;
srcConnection.ConnectionString = desConnString;
sqlcmd.Connection = srcConnection;
//sqlcmd.CommandText = "select * from jobs";
sqlcmd.CommandText = "select * from abc";
sqlcmd.CommandType = CommandType.Text;
sqlcmd.Connection.Open();
da.SelectCommand = sqlcmd;
da.Fill(dt);
SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
sbc.BulkCopyTimeout = 5000;
sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
sbc.NotifyAfter = dt.Rows.Count;
try
{
// sbc.DestinationTableName = "jobs";
sbc.DestinationTableName = "bcd";
sbc.WriteToServer(dt);
}
catch (Exception ex)
{
lblCounter.Text = ex.Message.ToString();
}
finally
{
sqlcmd.Clone();
srcConnection.Close();
desConnection.Close();
}
}
private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
{
lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
TimeSpan copyTime = DateTime.Now - startTime;
lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
}
}
代码分析:
SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
先生成SqlBulkCopy 实例，构造函数指定了目标数据库，使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中，如果数据迁移中产生错误或异常将发生回滚。
sbc.BulkCopyTimeout = 5000000; //指定操作完成的Timeout时间
sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
sbc.NotifyAfter = dt.Rows.Count;
try
{
// sbc.DestinationTableName = "jobs";
sbc.DestinationTableName = "bcd";
sbc.WriteToServer(dt);
}
NotifyAfter 属性指定通知通知事件前处理的数据行数，在这里指定为表的行数，并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性，也就是目标数据库的表名，
性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习
create table abc
(
aid int identity(1,1) primary key,
adesc varchar(50) not null
)
go
/**********存储过程**********************/
create proc addData
as
declare @i int
set @i=1
while @i < 1000000
begin
insert into abc values ('testDescription')
set @i = @i + 1
end
go
select * into titles from pubs.dbo.titles where 1> 3 复制跨数据库的表结构