Sql批量删除与插入数据
本文导语: 首先,来看下批量删除的操作方法,批量删除很简单,例如: 代码示例: DELETE FROM TestTable WHERE ID IN (1, 3, 54, 68) --sql2005下运行通过 当用户在界面上不连续的选择多项进行删除时,该语句比循环调用多次删除或多条delete语句...
首先,来看下批量删除的操作方法,批量删除很简单,例如:
当用户在界面上不连续的选择多项进行删除时,该语句比循环调用多次删除或多条delete语句中间加分号一次调用等方法都高效的多。
再来看,批量插入的写法:
sql写法:
--TestTable表没有主键,ID不是主键
oracle写法:
--TestTable表没有主键,ID不是主键
测试,这种写法插入1000条数据比循环调用1000次insert或1000条insert语句简单叠加一次调用要高效得多,大概快20多倍(调试状态不是太准)。
其实很简单,就用了个union(union all 也可以),但当时得出测试结果时还是很惊喜的。
另外,union和union all是有区别的,UNION在进行表链接后会筛选掉重复的记录,所以在表链接后会对所产生的结果集进行排序运算,删除重复的记录再返回结果。 而UNION ALL只是简单的将两个结果合并后就返回。
这样,如果返回的两个结果集中有重复的数据,那么返回的结果集就会包含重复的数据了。
从效率上说,UNION ALL 要比UNION快很多,所以,如果可以确认合并的两个结果集中不包含重复的数据的话,那么就使用UNION ALL。
使用上述方法进行批量插入,需要两个条件:
1、表不能有主键或者主键是数据库默认的(sql用自动递增列,oracle用序列)
2、组合sql语句时只能直接用字符串连接,不能用参数化sql语句的写法(就是在组合的sql中用@parm做占位符,再给Command对象添加Parameter)
注意,以上两条任意一条不满足,效率的提高都不明显。
由于是考虑到大数据量的批量插入,于是想到了ADO.NET2.0的一个新的特性:SqlBulkCopy,其性能效率非常高。
这里提供一段代码,供大家参考,如下:
{
//Stopwatch stopwatch = new Stopwatch();
//stopwatch.Start();
//批量插入
DataTable dataTable = CreateDataTable();
string passportKey;
for (int i = 0; i < count; i++)
{
passportKey = Guid.NewGuid().ToString();
DataRow dataRow = dataTable.NewRow();
dataRow[0] = passportKey;
dataTable.Rows.Add(dataRow);
}
// 批量删除
SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(connectionString);
sqlBulkCopy.DestinationTableName = "Passport";
sqlBulkCopy.BatchSize = dataTable.Rows.Count;
//SqlConnection sqlConnection = new SqlConnection(connectionString);
//sqlConnection.Open();
if (dataTable!=null && dataTable.Rows.Count!=0)
{
sqlBulkCopy.WriteToServer(dataTable);
}
sqlBulkCopy.Close();
//sqlConnection.Close();
//stopwatch.Stop();
//return stopwatch.ElapsedMilliseconds;
}