MySql クイック挿入数千万の大規模データの例

java.io.BufferedReader をインポートします。
java.io.FileNotFoundException をインポートします。
java.io.FileReader をインポートします。
java.io.IOException をインポートします。
java.util.ArrayList をインポートします。
java.util.List をインポートします。
 
preprocess.ImportDataBase をインポートします。
 
パブリッククラスMuiltThreadImportDB {
 
 /**
  * 大容量ファイルとストレージの Java マルチスレッド読み取り * 
  * @param 引数
  */
 プライベート静的int m_record = 99999;
 プライベート静的 BufferedReader br = null;
 プライベートArrayList<String>リスト;
 プライベート静的int m_thread = 0;
 静的{
 試す {
  br = 新しいバッファリーダー(
  新しいファイルリーダー(
  "E:/tianci/IJCAI15 Data/data_format1/user_log_format1.csv"),8192);
 
 } キャッチ (FileNotFoundException e) {
  e.printStackTrace();
 }
 試す {
  br.readLine(); // CSV ヘッダーを削除
 } キャッチ (IOException e) {
  e.printStackTrace();
 }
 }
 
 パブリックボイド開始() {
 文字列;
 整数カウント = 0;
 リスト = 新しいArrayList<String>(m_record + 1);
 同期 (br) {
  試す {
 ((line = br.readLine()) != null) の場合 {
  カウント < m_record) {
 リストに行を追加します。
 カウント++;
  } それ以外 {
 リストに行を追加します。
 カウント = 0;
 スレッド t1 = new Thread(new MultiThread(list),Integer.toString(m_thread++));
 t1.開始();
 リスト = 新しいArrayList<String>(m_record + 1);
  }
 }
 
 if (リスト != null) {
  スレッド t1 = new Thread(new MultiThread(list),Integer.toString(m_thread++));
  t1.開始();
 }
  } キャッチ (IOException e) {
 e.printStackTrace();
  }
 }
 }
 
 パブリック静的voidメイン(String[] args) {
 新しい MuiltThreadImportDB().start();
 } 
}

クラス MultiThread は Runnable を実装します {
 プライベートArrayList<String>リスト;
 
 パブリックマルチスレッド(ArrayList<String>リスト) {
 this.list = リスト;
 }
 
 パブリックボイド実行() {
 試す {
  ImportDataBase を挿入 = 新しい ImportDataBase(リスト);
  挿入を開始します。
 } キャッチ (FileNotFoundException e) {
  e.printStackTrace();
 }
 このリストを表示します。
 }
 
 パブリック void display(List<String> リスト) {
 // for (文字列 str : リスト) {
 // System.out.println(str);
 // }
 System.out.print(Thread.currentThread().getName() + " :");
 System.out.println(リストのサイズ());
 }
 
}

パブリック int insertUserBehaviour(ArrayList<String> sqls) は SQLException をスローします {
 
 文字列 sql = "user_behaviour_log に挿入 (user_id、item_id、cat_id、merchant_id、brand_id、time_stamp、action_type)"
 + " 値(?,?,?,?,?,?,?)";
 事前ステートメント = conn.prepareStatement(sql);
 (int i = 0; i < sqls.size(); i++) の場合 {
  UserLog ログ = 新しい UserLog(sqls.get(i));
  プレStmt.setString(1, log.getUser_id());
  プレStmt.setString(2, log.getItem_id());
  プリステージ.setString(3, log.getCat_id());
  事前Stmt.setString(4, log.getMerchant_id());
  preStmt.setString(5, log.getBrand_id());
  タイムスタンプを6に設定します。
  アクションタイプをログに記録します。
  preStmt.addBatch();
  ((i + 1) % 10000 == 0) の場合 {
 preStmt.executeBatch();
 conn.commit();
 preStmt.clearBatch();
  }
 }
 preStmt.executeBatch();
 conn.commit();
 1 を返します。
 }