MySQL に大量のデータを挿入する 4 つの方法の例

MySQL に大量のデータを挿入する 4 つの方法の例

序文

この記事では主に、MySQLに大量のデータを挿入する4つの方法を紹介し、参考と学習のために共有します。詳しい紹介を見てみましょう。

方法1: ループ挿入

これも最も一般的な方法です。データ量が多くない場合は使用できますが、毎回データベースに接続するためにリソースを消費します。

基本的な考え方は次の通りです

(ここでは擬似コードを記述していますが、具体的な記述は独自のビジネス ロジックやフレームワーク構文と組み合わせることができます)

($i=1;$i<=100;$i++) の場合{
 $sql = '挿入.............';
 //クエリSQL
}
foreach($arr を $key => $value として){
$sql = '挿入.............';
 //クエリSQL
}
$i <= 100 の間{
$sql = '挿入.............';
 //クエリSQL
 $i++
}

それはあまりにも一般的であり、難しくもないし、今日私が主に書いている内容ではないので、ここではこれ以上述べません。

方法2: 接続リソースを減らしてSQL文を結合する

疑似コードは以下のとおりです

//ここでは、arr のキーがデータベース フィールドと同期されていると想定しています。実際、ほとんどのフレームワークは、PHP でデータベースを操作するときにこの設計を使用します。$arr_keys = array_keys($arr);
$sql = 'INSERT INTO tablename (' . implode(',' ,$arr_keys) . ') 値';
$arr_values ​​= array_values($arr);
$sql .= " ('" . implode("','" ,$arr_values) . "'),";
$sql = substr($sql,0,-1);
// スプライシング後、おそらく INSERT INTO tablename ('username','password') 値になります 
('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx')
.......
//クエリSQL

この書き方は、データが非常に長い場合を除き、通常 10,000 件のレコードを挿入する場合に基本的に問題ありません。カード番号のバッチ生成、ランダム コードのバッチ生成など、通常のバッチ挿入を処理するには十分です。 。 。

方法3: ストアドプロシージャを使用する

私はこれを手に入れ、SQL を提供します。特定のビジネス ロジックを自分で組み合わせることができます。

区切り文字 $$$
プロシージャ zqtest() を作成する
始める
i int をデフォルトで 0 と宣言します。
i=0 に設定します。
トランザクションを開始します。
i<80000の場合
 //挿入SQL 
i=i+1 と設定します。
終了しながら;
専念;
終わり
$$$
デリミタ;
zqtest() を呼び出す。

これは単なるテストコードであり、特定のパラメータを自分で定義できます。

一度に 80,000 件のレコードを挿入しています。多くはありませんが、各レコードには大量のデータがあり、varchar4000 とテキスト フィールドが多数あります。6.524 秒かかります。

方法4: MYSQL LOCAL_INFILEを使用する

私は現在これを使用しているので、参考のためにpdoコードをここにコピーしました

//pdo を設定して MYSQL_ATTR_LOCAL_INFILE を有効にする
/*[email protected]
パブリック関数 pdo_local_info()
{
  グローバル $system_dbserver;
  $dbname = '[email protected]';
  メールアドレス
  ユーザーID
  $pwd = '[email protected]';
  $dsn = 'mysql:dbname=' . $dbname . ';host=' . $ip . ';port=3306';
  $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];
  $db = 新しい PDO ($dsn、$user、$pwd、$options);
  $db を返します。
 }
//疑似コードは以下のとおりです public function test(){
  配列キーを配列要素に代入します。
  $root_dir = $_SERVER["DOCUMENT_ROOT"] . '/';
  $my_file = $root_dir . "[email protected]/sql_cache/" . $order['OrderNo'] . '.sql';
  $fhandler = fopen($my_file, 'a+');
  ($fhandler) の場合 {
  $sql = implode("\t"、$arr);
   $i = 1;
   ($i <= 80000) の間
   {
    $i++;
    fwrite($fhandler、$sql。"\r\n");
   }
   $sql = "LOAD DATA ローカル INFILE '" . $myFile . "' INTO TABLE ";
   $sql .= "tablename (" . implode(',' ,$arr_keys) . ")";
   pdo_local_info は、ローカル コンピュータで実行する必要があります。
   $res = $pdo->exec($sql);
   もし (!$res) {
    //TODO 挿入に失敗しました}
   @unlink($my_file);
  }
}

これも大量のデータがあり、varchar4000 とテキスト フィールドが多数あります。

所要時間: 2.160秒

上記は基本的な要件を満たしています。100 万のデータ ポイントは大きな問題ではありません。そうでない場合、データが大きすぎると、データベースとテーブルをシャーディングしたり、挿入にキューを使用したりする必要があるかもしれません。

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。

以下もご興味があるかもしれません:
  • MYSQL バッチ挿入データ実装コード
  • MySQL でバッチ挿入を実装してパフォーマンスを最適化するチュートリアル
  • ユニークインデックスを使用したMySQLバッチ挿入を回避する方法
  • MySQLは挿入を使用して複数のレコードを挿入し、データを一括で追加します。
  • MySQL バッチ挿入ループの詳細なサンプルコード
  • MySQL バッチデータ挿入スクリプト
  • MySQL バッチ SQL 挿入パフォーマンス最適化の詳細な説明
  • MySql バッチ挿入の最適化 SQL 実行効率の例の詳細な説明
  • MySQLバッチは関数ストアドプロシージャを通じてデータを挿入します

<<:  GIFアニメーション効果を模倣した自動ビデオ再生を実現するWeChatアプレットの例

>>:  テキスト ファイルの並べ替えに役立つ Awk コマンドラインまたはスクリプト (推奨)

推薦する

LinuxテキストエディタVimの詳しい説明

Vim は強力なフルスクリーン テキスト エディターであり、Linux/UNIX で最も一般的に使用...

Vue.jsは音楽プレーヤーを実装します

この記事では、音楽プレーヤーを実装するためのVue.jsの具体的なコードを参考までに共有します。具体...

WINDOWS での MYSQL のインストールに関する詳細なチュートリアル

1. インストールパッケージをダウンロードする- お使いのコンピュータシステムに応じて適切なバージョ...

HTML テーブル マークアップ チュートリアル (38): ヘッダーの境界線の色属性 BORDERCOLOR

テーブルを美しくするために、ヘッダーに異なる境界線の色を設定できます。基本的な構文<TH 境界...

MySQL をベースにしたシンプルな検索エンジンを実装する

目次MySQL ベースの検索エンジンの実装1. ngram全文パーサー2. 全文インデックスを作成す...

Vmvare 仮想マシンを使用して Ubuntu のルート ディレクトリをパーティション分割する方法の紹介

目次序文根拠手順1. CDから仮想マシンを起動する2. GPartedツールを使用してパーティション...

適応型ウェブページを設計および作成する方法

3G の普及により、携帯電話を使ってインターネットにアクセスする人が増えています。モバイル デバイス...

Tomcatのデフォルトプログラム公開パスの使用と変更についての説明

tomcat7 のデフォルトのプログラム公開パスは tomcat/webapps/ROOT/ です。...

Tomcat で静的リソースを処理するチュートリアル

序文Tomcat 内のすべてのリクエストは Servlet によって処理され、静的リソースも例外では...

ファイルアップロードスタイルの詳細を実装するjs

目次1. 概要2. オブジェクト作成のパラメータ3. 監視例4. 使用方法5. ソースコード1. 概...

MySQL マスタースレーブレプリケーションのいくつかのレプリケーション方法の概要

非同期レプリケーションMySQL レプリケーションは、デフォルトでは非同期です。マスター スレーブ ...

etcd クラスターをデプロイするための docker-compose の実装手順

目次docker-compose.ymlを書くdocker-composeを実行するビルドステータス...

SpringBoot と Vue の相互作用におけるクロスドメイン問題の解決策

目次ブラウザ同一生成元ポリシー1. VUEフロントエンド構成プロキシはクロスドメインの問題を解決しま...

Nginxはctxを使用してデータ共有とコンテキスト変更機能を実現します。

環境: init_worker_by_lua、set_by_lua、rewrite_by_lua、a...