88 秒で 1,000 万件のレコードを MySQL データベース テーブルに挿入する方法

88 秒で 1,000 万件のレコードを MySQL データベース テーブルに挿入する方法

私が使用しているデータベースはMySQLデータベースバージョン5.7です

まずデータベーステーブルを自分で準備する

実は、1000 万のデータを挿入するときにいくつか問題が発生しました。まずはそれらを解決します。最初は、100 万のデータを挿入するときにエラーが発生しました。コンソール情報は次のとおりです。

com.mysql.jdbc.PacketTooBigException: クエリのパケットが大きすぎます (4232009 > 4194304)。サーバー上でこの値を変更するには、max_allowed_pa​​cket 変数を設定します。

上記のエラーは、データベース テーブルの max_allowed_pa​​cket 構成が十分大きくないために発生します。デフォルトは 4M です。その後、これを 100M に調整したところ、エラーは報告されなくなりました。

グローバルmax_allowed_pa​​cketを100*1024*1024*に設定する

設定後にデータベースに再度ログインして、設定した値を確認する必要があることに注意してください。

'%max_allowed_pa​​cket%' のような変数を表示します

コードは次のとおりです。

添付文書;
java.sql.Connection をインポートします。
java.sql.DriverManager をインポートします。
java.sql.SQLException をインポートします。
java.util.Date をインポートします。
com.mysql.jdbc.PreparedStatement をインポートします。
パブリッククラス InsertTest {
   パブリック静的void main(String[] args)はClassNotFoundException、SQLExceptionをスローします{
     最終的な文字列 url = "jdbc:mysql://127.0.0.1/teacher" ; 
     最終的な文字列名 = "com.mysql.jdbc.Driver"; 
     最終的な文字列 user = "root" ; 
     最終的な文字列パスワード = "123456" ; 
     接続 conn = null; 
     Class.forName(name); //接続タイプを指定します conn = DriverManager.getConnection(url, user, password); //接続を取得します if (conn!= null ) {
       System.out.println("接続が正常に取得されました");
       挿入(conn);
     } それ以外 {
       System.out.println("接続を取得できませんでした");
     }
   }
   パブリック静的void挿入(接続conn) {
     // 開始時刻 Long begin = new Date().getTime();
     // sql プレフィックス String prefix = "INSERT INTO t_teacher (id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark) VALUES ";
     試す {
       // SQL サフィックスを保存します。StringBuffer suffix = new StringBuffer();
       // トランザクションを非自動コミットに設定します。conn.setAutoCommit( false );
       // PST は ST よりも優れています PreparedStatement pst = (PreparedStatement) conn.prepareStatement( "" ); // ステートメントを実行する準備をします // 外側のループ、コミットされたトランザクションの合計数 for ( int i = 1 ; i <= 100 ; i++) {
         サフィックス = 新しいStringBuffer();
         // j 番目の送信ステップ for ( int j = 1 ; j <= 100000 ; j++) {
           // SQL サフィックスを構築 suffix.append( "('" + uutil.UUIDUtil.getUUID()+ "','" +i*j+ "','123456'" + ",'Male'" + ",'Teacher'" + ",'www.bbk.com'" + ",'XX University'" + ",'" + "2016-08-12 14:43:26" + "','Note'" + ")," );
         }
         // 完全なSQLを構築
         文字列 sql = prefix + suffix.substring( 0 , suffix.length() - 1 );
         // 実行SQLを追加
         pst.addBatch(sql);
         // 操作を実行 pst.executeBatch();
         // トランザクションをコミットします conn.commit();
         // 最後に追加されたデータをクリアします suffix = new StringBuffer();
       }
       //ファーストクラスの接続 pst.close();
       接続を閉じる();
     } キャッチ (SQLException e) {
       e.printStackTrace();
     }
     // 終了時刻 Long end = new Date().getTime();
     // 時間がかかります System.out.println( "1000 万件のレコードを挿入するのにかかる時間: " + (end - begin) / 1000 + " 秒" );
     System.out.println("挿入が完了しました");
   }
}

要約する

上記は、編集者が紹介した、88秒で1000万件のデータをMySQLデータベーステーブルに挿入する操作方法です。皆様のお役に立てれば幸いです。ご質問がございましたら、メッセージを残してください。編集者がすぐに返信いたします。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • MySql クイック挿入数千万の大規模データの例
  • Java で JDBC を使用して MySQL に数百万のデータを挿入するサンプル コード
  • MySQLに何百万ものテストデータを素早く挿入する方法
  • 6秒でMySQLに100万件のレコードを挿入する方法を教えます

<<:  CenterOS7 インストールおよび構成環境 jdk1.8 チュートリアル

>>:  JavaScriptオフセットは、ウィンドウ内でのマウス座標の取得とモジュールのドラッグを実装します。

推薦する

SpringBoot プロジェクトの Docker クイック デプロイメントの紹介

1. Dockerをインストールするまず Linux 環境を開き、次のコマンドを入力してインストール...

CSSをインポートする方法に関する詳細な洞察の要約

CSS の開発履歴についてはここでは紹介しません。ブログを書いている理由の 1 つは、フロントエンド...

MySQL ビュー管理ビューの例の詳細説明 [追加、削除、変更、クエリ操作]

この記事では、例を使用して MySQL ビューの管理ビュー操作について説明します。ご参考までに、詳細...

Linux/CentOS サーバー セキュリティ構成の一般ガイド

Linux はオープン システムです。インターネット上には、既成のプログラムやツールが多数存在します...

MySQL は information_schema オブジェクトの付与をバイパスし、ERROR 1044 (4200) エラーを報告します

この質問は、MySQL の権限に関する WeChat グループのネットユーザー間の議論です。次のよう...

ApacheのDjangoオンライン展開方法

環境: 1. Windows Server 2016 Datacenter 64 ビット 2. SQ...

Dockerコンテナでユーザーを分離する方法

前回の記事「Docker コンテナの UID と GID を理解する」では、Docker コンテナ内...

MySQL MHA の高可用性構成とフェイルオーバーの詳細な導入手順

目次1. MHAの紹介1. MHAとは何ですか? 2. MHAの構成3. MHAの特徴2. MySQ...

JavaScript の 7 つのデータ型の詳細な説明

目次序文:詳しい紹介:練習する:要約する序文: Python、Java、Cシリーズなど、すべての主要...

MySQL の不正な文字列値の解決方法

MySQL を使用して中国語の文字を挿入すると、多くの友人から次のエラーが報告されます。 これは、文...

主軸上のFlex子要素の比率を制御する方法

背景フレックス レイアウトにより、配置とスペースの割り当てがより効果的に実現されます。最近、flex...

MySQL接続クエリにおけるととwhereの違いの簡単な分析

1. テーブルを作成する テーブル「学生」を作成( `id` int(11) NULLではない、 `...

CSS チュートリアル: CSS 属性メディア タイプ

スタイルシートの最も重要な機能の 1 つは、ページ、画面、電子シンセサイザーなどの複数のメディアに適...

Vueはタブナビゲーションバーを実装し、左右のスライド機能をサポートしています

この記事では主に、Vue を使用してタブ ナビゲーション バーを実装し、flex レイアウトを使用し...