88 秒で 1,000 万件のレコードを MySQL データベース テーブルに挿入する方法

88 秒で 1,000 万件のレコードを MySQL データベース テーブルに挿入する方法

私が使用しているデータベースはMySQLデータベースバージョン5.7です

まずデータベーステーブルを自分で準備する

実は、1000 万のデータを挿入するときにいくつか問題が発生しました。まずはそれらを解決します。最初は、100 万のデータを挿入するときにエラーが発生しました。コンソール情報は次のとおりです。

com.mysql.jdbc.PacketTooBigException: クエリのパケットが大きすぎます (4232009 > 4194304)。サーバー上でこの値を変更するには、max_allowed_pa​​cket 変数を設定します。

上記のエラーは、データベース テーブルの max_allowed_pa​​cket 構成が十分大きくないために発生します。デフォルトは 4M です。その後、これを 100M に調整したところ、エラーは報告されなくなりました。

グローバルmax_allowed_pa​​cketを100*1024*1024*に設定する

設定後にデータベースに再度ログインして、設定した値を確認する必要があることに注意してください。

'%max_allowed_pa​​cket%' のような変数を表示します

コードは次のとおりです。

添付文書;
java.sql.Connection をインポートします。
java.sql.DriverManager をインポートします。
java.sql.SQLException をインポートします。
java.util.Date をインポートします。
com.mysql.jdbc.PreparedStatement をインポートします。
パブリッククラス InsertTest {
   パブリック静的void main(String[] args)はClassNotFoundException、SQLExceptionをスローします{
     最終的な文字列 url = "jdbc:mysql://127.0.0.1/teacher" ; 
     最終的な文字列名 = "com.mysql.jdbc.Driver"; 
     最終的な文字列 user = "root" ; 
     最終的な文字列パスワード = "123456" ; 
     接続 conn = null; 
     Class.forName(name); //接続タイプを指定します conn = DriverManager.getConnection(url, user, password); //接続を取得します if (conn!= null ) {
       System.out.println("接続が正常に取得されました");
       挿入(conn);
     } それ以外 {
       System.out.println("接続を取得できませんでした");
     }
   }
   パブリック静的void挿入(接続conn) {
     // 開始時刻 Long begin = new Date().getTime();
     // sql プレフィックス String prefix = "INSERT INTO t_teacher (id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark) VALUES ";
     試す {
       // SQL サフィックスを保存します。StringBuffer suffix = new StringBuffer();
       // トランザクションを非自動コミットに設定します。conn.setAutoCommit( false );
       // PST は ST よりも優れています PreparedStatement pst = (PreparedStatement) conn.prepareStatement( "" ); // ステートメントを実行する準備をします // 外側のループ、コミットされたトランザクションの合計数 for ( int i = 1 ; i <= 100 ; i++) {
         サフィックス = 新しいStringBuffer();
         // j 番目の送信ステップ for ( int j = 1 ; j <= 100000 ; j++) {
           // SQL サフィックスを構築 suffix.append( "('" + uutil.UUIDUtil.getUUID()+ "','" +i*j+ "','123456'" + ",'Male'" + ",'Teacher'" + ",'www.bbk.com'" + ",'XX University'" + ",'" + "2016-08-12 14:43:26" + "','Note'" + ")," );
         }
         // 完全なSQLを構築
         文字列 sql = prefix + suffix.substring( 0 , suffix.length() - 1 );
         // 実行SQLを追加
         pst.addBatch(sql);
         // 操作を実行 pst.executeBatch();
         // トランザクションをコミットします conn.commit();
         // 最後に追加されたデータをクリアします suffix = new StringBuffer();
       }
       //ファーストクラスの接続 pst.close();
       接続を閉じる();
     } キャッチ (SQLException e) {
       e.printStackTrace();
     }
     // 終了時刻 Long end = new Date().getTime();
     // 時間がかかります System.out.println( "1000 万件のレコードを挿入するのにかかる時間: " + (end - begin) / 1000 + " 秒" );
     System.out.println("挿入が完了しました");
   }
}

要約する

上記は、編集者が紹介した、88秒で1000万件のデータをMySQLデータベーステーブルに挿入する操作方法です。皆様のお役に立てれば幸いです。ご質問がございましたら、メッセージを残してください。編集者がすぐに返信いたします。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • MySql クイック挿入数千万の大規模データの例
  • Java で JDBC を使用して MySQL に数百万のデータを挿入するサンプル コード
  • MySQLに何百万ものテストデータを素早く挿入する方法
  • 6秒でMySQLに100万件のレコードを挿入する方法を教えます

<<:  CenterOS7 インストールおよび構成環境 jdk1.8 チュートリアル

>>:  JavaScriptオフセットは、ウィンドウ内でのマウス座標の取得とモジュールのドラッグを実装します。

推薦する

MySQL 5.7.20 の解凍バージョンをインストールするための詳細な手順 (2 つの方法)

Windows 64ビットでのMySQLのインストールについて説明します。5.7以降、MySQLの...

CSS 背景画像を設定するための 6 つの興味深いヒント

background-image は、おそらくすべてのフロントエンド開発者がキャリアの中で少なくとも...

Vue フィルターの実装と適用シナリオの詳細な説明

1. 簡単な紹介Vue.js を使用すると、一般的なテキストの書式設定に使用できる独自のフィルターを...

Vue ページでよりエレガントに画像を紹介する方法

目次エラーのデモンストレーション計算により画像が変わらない場合は直接インポートするCSS変数による画...

vue.jsは画像のURLに従って画像をダウンロードします

最近、フロントエンドの vue.js ドッキング機能モジュールに取り組んでいたとき、画像をダウンロー...

js の toString メソッドの 3 つの機能

目次1. toStringメソッドの3つの機能2. オブジェクトを表す文字列を返す3. カスタム t...

MySQL レプリケーション テーブルの詳細とサンプル コード

MySQL レプリケーション テーブルの詳細な説明テーブル構造、インデックス、デフォルト値などを含む...

MySQLの暗黙的な変換問題の解決

1. 問題の説明 root@mysqldb 22:12: [xucl]> テーブル t1\G ...

MySQL の最適化: InnoDB の最適化

勉強の計画は簡単に中断され、継続するのが困難です。先日、社内で事業の方向性を調整するための会議があり...

wgetはウェブサイト全体(サブディレクトリ全体)または特定のディレクトリをダウンロードします

wgetコマンドを使用して、親ディレクトリの下のサブディレクトリ全体をダウンロードします。親ディレク...

Vue2.0でデータの双方向バインディング機能をjsを使って実装する

Object.definePropertyの理解文法:オブジェクト.defineProperty(o...

Dockerは指定されたメモリで操作を実行します

次のように: -m, --memory メモリ制限。形式は数値と単位です。単位は b、k、m、g の...

VUEはG2チャートを使用した実装を導入します

目次G2チャートについて使用テンプレートで使用される完全なコード (棒グラフ)世界地図を追加するG2...

WordPress実験を実装するための3つの仮想マシンのKVM展開の詳細説明

1. KVM の概要カーネルベースの仮想マシンの略称は、Linux 2.6.20 以降のすべての主要...

MySQL テーブルタイプ ストレージエンジンの選択

目次1. 現在のデータベース支出のストレージエンジンを表示する方法1:方法2: 2. ENGINE=...