动态网站制作指南



当前位置 > 网站建设学院 > 网络编程 > ASP.NET技巧 Rss
Tag:注入,存储过程,分页,安全,优化,xmlhttp,fso,jmail,application,session,防盗链,stream,无组件,组件,md5,乱码,缓存,加密,验证码,算法,cookies,ubb,正则表达式,水印,索引,日志,压缩,base64,url重写,上传,控件,Web.config,JDBC,函数,内存,PDF,迁移,结构,破解,编译,配置,进程,分词,IIS,Apache,Tomcat,phpmyadmin,Gzip,触发器,socket

.net2.0中使用SqlBulkCopy进行大批量数据迁移


发表日期:2006-6-24


在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者xml文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

 

DateTime startTime;
    PRotected void Button1_Click(object sender, EventArgs e)
    {
        startTime = DateTime.Now;
        string SrcConString;
        string DesConString;
        SqlConnection SrcCon = new SqlConnection();
        SqlConnection DesCon = new SqlConnection();
        SqlCommand SrcCom = new SqlCommand();
        SqlDataAdapter SrcAdapter = new SqlDataAdapter();
        DataTable dt = new DataTable();
        SrcConString =
        ConfigurationManager.ConnectionStrings["SrcDBConnectionString"].ConnectionString;
        DesConString =
        ConfigurationManager.ConnectionStrings["DesDBConnectionString"].ConnectionString;
        SrcCon.ConnectionString = SrcConString;
        SrcCom.Connection = SrcCon;
        SrcCom.CommandText = " SELECT * From [SrcTable]";
        SrcCom.CommandType = CommandType.Text;
        SrcCom.Connection.Open();
        SrcAdapter.SelectCommand = SrcCom;
        SrcAdapter.Fill(dt);
        SqlBulkCopy DesBulkOp;
        DesBulkOp = new SqlBulkCopy(DesConString,
        SqlBulkCopyOptions.UseInternalTransaction);
        DesBulkOp.BulkCopyTimeout = 500000000;
        DesBulkOp.SqlRowsCopied +=
        new SqlRowsCopiedEventHandler(OnRowsCopied);
        DesBulkOp.NotifyAfter = dt.Rows.Count;
        try
        {
            DesBulkOp.DestinationTableName = "SrcTable";
            DesBulkOp.WriteToServer(dt);
        }
        catch (Exception ex)
        {
            lblResult.Text = ex.Message;
        }
        finally
        {
            SrcCon.Close();
            DesCon.Close();
        }
    }

    private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
    {
        lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
        TimeSpan copyTime = DateTime.Now - startTime;
        lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
    }
接着具体分析这几行代码:
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。其他选项请参考MSDN。

DesBulkOp.BulkCopyTimeout = 500000000;
指定操作完成的Timeout时间

        DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);
        DesBulkOp.NotifyAfter = dt.Rows.Count;
        try
        {
            DesBulkOp.DestinationTableName = "SrcTable";
            DesBulkOp.WriteToServer(dt);
        }
NotifyAfter属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性,也就是目标数据库的表名,

我们还可以自己定义一个Transaction,例如:

SqlTransaction Transaction;
Transaction =
SrcCom.Connection.BeginTransaction();
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString),
SqlBulkCopyOptions.Default,
Transaction);

try
{   
//..
}
catch{}   
finally
{
Transaction.Commit();
}
另外还有一个SqlBulkCopyColumnMapping类,可以让数据源字段映射到目标数据中命名不同的字段上。也就是说如果目标数据和源数据的列名不同时,可以用这个类进行映射:
SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol", "DesCol");
DesBulkOp.ColumnMappings.Add(ColMap);
或者可以直接添加映射:
DesBulkOp.ColumnMappings.Add("SrcCol", "DesCol");
性能问题:
我使用上面的例子测试,迁移了2万条左右的记录,花的时间不到一秒,应改说性能还是不错的。另外,使用SQL Profile监视迁移事件,可以看见请求记录非常少,只有几条而已。据说使用SqlBulkCopy可以大大减少数据迁移的时间。

http://justicfu.cnblogs.com/archive/2006/06/23/433887.html

关注此文的读者还看过:
·2012-2-4 9:37:44 asp.net中在.cs文件中调用前台JavaScript代码
·2012-2-4 9:34:19 根据xsd生成xml文档
·2012-2-4 9:32:38 .Net下几种日志管理方法
·2012-2-4 9:32:35 读取MP3文件的ID3v1信息
·2012-2-4 9:31:57 asp.net中用C#实现站点计数器用户控件
·2012-2-4 9:31:54 asp.net 2.0里当readonly遇上enableviewstate=false
·2012-2-4 9:31:52 ASP.NET控件开发系列之图片切换web控件
·2012-2-4 9:31:46 通过避免下列10个常见ASP.NET缺陷使网站平稳运行
·2012-2-4 9:31:14 安装IE补丁后ASP.NET将无法运行
站长推荐 PS笔刷下载 在线翻译 系统进程 广告代码
  发表评论
姓 名: 验证码:
内 容:
教程搜索服务
Asp.net源码推荐
·思颖BT动漫小偷程序
·Web图片管理系统
·龙蛛搜索 v2.2
·适合ajax初学者的简易聊天程序
·阳光教育网站管理系统基础版 Su
·Asp.net考勤系统
·Xluo大型聊天室系统 v1.0
·穷小子购物系统 v2.0
·PlugNT Cms内容管理系统 v2.0
·爱泡全球随机视频网 v2.0
·LouHome中医养生保健方略 v1.0
·淄博某泵业网站源码
项目外包信息
·ecshop+Discuz! X2+ Home会员整
·寻找网站建设团队或者个人合伙
·LOGO设计外包
·企业网后台程序外包
·ESO关键词优化
·寻中高端网页设计及美工长期合作
·网页美工
·寻求程序合作
·全球连锁餐饮集团网站改版
·预算5-10万元的基于威客、2.0、
·外包一个新闻发布网站 急
·招长期兼职资深设计师合作
·FLASH外包
·产品高端场景摄影
·寻找asp.net开发高手
发布信息 浏览信息
邮件订阅服务
输入你的邮件地址,你将不会错过任何关于<ASP.NET技巧>的内容


网络编程文章分类
ASP教程
ASP实例
ASP技巧
ASP文摘
PHP教程
PHP技巧
PHP实例
PHP文摘
JSP教程
JSP技巧
JSP实例
JSP文摘
ASP.NET教程
ASP.NET技巧
ASP.NET实例
ASP.NET应用
xml教程
xsl教程
xml技巧
C#教程
C#应用
Delphi教程
Perl教程
Shell教程
Ajax教程
Visual Basic教程
Java教程
J2EE/J2ME教程
C/C++教程
移动解决方案
移动短信技术
移动行业动态
软件工程
WordPress
Android开发
站长工具:Google PR查询|Alexa排名查询|网站速度测试|CSS在线编辑器|OPEN参数生成器|弹出式窗口代码产生器|密码登录生成器|在线按钮生成器|Meta标签生成器|邮箱图标在线生成|多色彩特效字代码生成器|网页代码调试器|在线FTP登陆|Flash取色器|配色代码对照表|配色辞典|CSS生成器|CSS在线压缩|广告代码|框架网页代码生成器|js/vbs加密|md5加密|进制转换|UTF-8 转换工具|在线调色板|Html转换js|Html转换asp|Html转换php|Html转换perl
实用工具:汉字翻译拼音|拼音字典|在线翻译|天气预报|火星文|在线网速测试|符号对照表|个税计算|理财工具|黄金价格|购房银行按揭利率计算|汇率查询|经典小工具|汉字简繁转换|普通单位换算|公制单位换算|生辰老黄历|国内电话区号|国家代码与域名缩写|文字加密解密|元素周期表|健康查询|世界时间|全国各地车牌查询|全国车辆交通违章查询|万年历|二十四节气|汉字横竖排版|手机号码查询|计算器|ip搜索
广告刊登 | 版权声明 | 联系我们 | 加入收藏 | RSS订阅
Copyright © 2000-2012 www.knowsky.com All rights reserved | 沪ICP备05001343号