黑马程序员技术交流社区

标题: 通过代码来对数据库进行Bulk Insert操作 [打印本页]
作者: aisini    时间: 2014-8-13 14:25
标题: 通过代码来对数据库进行Bulk Insert操作
  1. using System;
  2. using System.Collections.Generic;
  3. using System.Text;
  4. using System.IO;
  5. using System.Data;
  6. using System.Configuration;
  7. using System.Data.SqlClient;

  9. namespace DemoApp
  10. {

  12. public class MyRecord
  13. {
  14.     public int TestInt;
  15.     public string TestString;

  17.     public MyRecord()
  18.     {
  19.     }

  21.     public MyRecord(int myInt, string myString)
  22.     {
  23.         this.TestInt = myInt;
  24.         this.TestString = myString;
  25.     }
  26. }

  28. public class BulkUploadToSql
  29. {
  30.     private List<MyRecord> internalStore;

  32.     protected string tableName;
  33.     protected DataTable dataTable = new DataTable();
  34.     protected int recordCount;
  35.     protected int commitBatchSize;
  36.     private BulkUploadToSql(
  37.         string tableName,
  38.         int commitBatchSize)
  39.     {
  40.         internalStore = new List<MyRecord>();

  42.         this.tableName = tableName;
  43.         dataTable = new DataTable(tableName);
  44.         recordCount = 0;
  45.         commitBatchSize = commitBatchSize;

  47.         // add columns to this data table
  48.         InitializeStructures();
  49.     }

  51.     private BulkUploadToSql() :
  52.         this("MyTableName", 1000) {}

  54. private void InitializeStructures()
  55. {
  56.     dataTable.Columns.Add("TI", typeof(Int32));
  57.     dataTable.Columns.Add("TS", typeof(string));
  58. }

  60. public static BulkUploadToSql Load(Stream dataSource)
  61. {
  62.     // create a new object to return
  63.     BulkUploadToSql o = new BulkUploadToSql();
  64.      
  65.     // replace the code below
  66.     // with your custom logic
  67.     for (int cnt = 0; cnt < 10000; cnt++)
  68.     {
  69.         MyRecord rec =
  70.             new MyRecord
  71.             (
  72.             cnt,
  73.             string.Format("string{0}", cnt)
  74.             );
  75.         o.internalStore.Add(rec);
  76.     }

  78.     return o;
  79. }

  81. private void WriteToDatabase()
  82. {
  83.     // get your connection string
  84.     string connString = "";
  85.     // connect to SQL
  86.     using (SqlConnection connection =
  87.             new SqlConnection(connString))
  88.     {
  89.         // make sure to enable triggers
  90.         // more on triggers in next post
  91.         SqlBulkCopy bulkCopy =
  92.             new SqlBulkCopy
  93.             (
  94.             connection,
  95.             SqlBulkCopyOptions.TableLock |
  96.             SqlBulkCopyOptions.FireTriggers |
  97.             SqlBulkCopyOptions.UseInternalTransaction,
  98.             null
  99.             );

  101.         // set the destination table name
  102.         bulkCopy.DestinationTableName = this.tableName;
  103.         connection.Open();

  105.         // write the data in the "dataTable"
  106.         bulkCopy.WriteToServer(dataTable);
  107.         connection.Close();
  108.     }
  109.     // reset
  110.     dataTable.Clear();
  111.     recordCount = 0;
  112. }

  114. public void Flush()
  115. {
  116.     // transfer data to the datatable
  117.     foreach (MyRecord rec in this.internalStore)
  118.     {
  119.         PopulateDataTable(rec);
  120.         if (recordCount >= this.commitBatchSize)
  121.             WriteToDatabase();
  122.     }
  123.     // write remaining records to the DB
  124.     if (recordCount > 0)
  125.         WriteToDatabase();
  126. }

  128. private void PopulateDataTable(MyRecord record)
  129. {
  130.     // populate the values
  131.     // using your custom logic
  132.     DataRow row = this.dataTable.NewRow();

  134.     row[0] = record.TestInt;
  135.     row[1] = record.TestString;

  137.     // add it to the base for final addition to the DB
  138.     dataTable.Rows.Add(row);
  139.     recordCount++;
  140. }
  141. }

  143. class Program
  144. {
  145.     static void Main(string[] args)
  146.     {
  147.         using (Stream s =
  148.             new StreamReader(@"C:\TestData.txt"))
  149.         {
  150.             BulkUploadToSql myData =
  151.                 BulkUploadToSql.Load(s);
  152.             myData.Flush();
  153.         }
  154.     }
  155. }
  156. }
复制代码






欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2