Mysql の大きな SQL ファイルの高速リカバリ ソリューションの共有

Mysql の大きな SQL ファイルの高速リカバリ ソリューションの共有

序文

MySQL データベースを使用する過程では、データベースのバックアップと復元が必要になることがよくあります。最も簡単で便利な方法は、SQL データ ファイルをエクスポートおよびインポートしてバックアップと復元を完了することです。ただし、プロジェクトが大きくなるにつれて、データの量はますます大きくなり、復元のたびに頭痛の種になります。

最近、プロジェクトから 5GB のデータベースをダウンロードしてローカルに復元したところ、40~50 分かかりました。今後のデータ拡張を考えると、データ量が増え、復元コストも増えるので、調べてみたところ、以下の設定で復元効率を向上できることがわかりました。

1. バックアップパラメータを変更する

まず、データベースをバックアップする際のパラメータを変更して、リカバリ効率を向上させる必要があります。

mysqldump --extended-insert

mysqldump の --extended-insert パラメータはバッチ挿入を示し、複数の挿入ステートメントを 1 つのステートメントにマージします。バックアップのインポート効率は、--extended-insert をオンにしていない場合と比べて 3 ~ 4 倍異なります。

--extended-insert=false を使用してエクスポートされた sql ファイル データは、1 行に 1 つの挿入ステートメントがあり、実行効率が非常に低いです。

--extended-insert=true でエクスポートされたテーブルは下図のようになります。非常に長い挿入文がバッチで挿入されます。

2. MYSQLクイック挿入パラメータを調整する

データベース ストレージ エンジンが MYISAM の場合、このパラメータを 512M または 256M に設定できます。MyISAM は特別なツリー キャッシュを使用してバッチ挿入を高速化します。

関連ドキュメント: https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_bulk_insert_buffer_size

デフォルト値は8M = 8388608バイトです

挿入バッファサイズを確認する

'%bulk%' のような変数を表示します。

挿入バッファサイズを設定する(グローバル)

グローバル bulk_insert_buffer_size を 1024*1024*512 に設定します。

挿入バッファサイズを設定する(セッション)

bulk_insert_buffer_size を 1024*1024*256 に設定します。

Mysqlを再起動したときに保持される値を設定する必要がある場合は、この設定をmy.cnfに追加する必要があります。

[mysqld]
バルク挿入バッファサイズ = 256M

3. 検査項目を閉じる

Innodb エンジンの場合、一部のシステム チェックをオフにして、より高速な挿入ソリューションを実現できます。

//自動コミットをオフにする SET autocommit=0;

// ユニークチェックをオフにする set unique_checks = 0;

//外部キーチェックをオフにする SET foreign_key_checks=0;

// バックアップ時に --extended-insert パラメータを有効にする

Innodb バルクデータロードに関する関連ドキュメント: https://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html

4. 練習

上記の最適化を行うと、MySQL のリカバリ効率が即座に向上します。上記のパラメータの最適化を行う前は、データベースの復元に毎回 40 分かかっていました。設定後は、約 16 分しかかかりません。私のデータベース ファイルの容量は約 5 GB です。

今のところはこれですべてです。Tiguan に関するより良い解決策や提案があれば、ぜひ私と話し合ってください。コーディングを楽しんでください。

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。

以下もご興味があるかもしれません:
  • MySQL5.7 mysqldump バックアップとリカバリの実装
  • MySQLデータを復元する2つの方法
  • 単一のMySQLテーブルを復元する手順
  • MySQL データベースのバックアップとリカバリの実装コード
  • MySQLはmysqldump+binlogを使用して、削除されたデータベースの原理分析を完全に復元します。
  • MySQLデータのバックアップとリカバリの実装方法の分析
  • Windows で削除された MySQL 8.0.17 のルート アカウントとパスワードを回復する方法
  • MySQL のスケジュールされたバックアップ、削除、および回復機能を実装するシェル スクリプト
  • MySQL バイナリログデータ復旧: 誤ってデータベースを削除した場合の詳細な説明
  • MySQL の完全なデータベース バックアップからデータベースとテーブルを復元する方法
  • 時点に基づくMySQLクイックリカバリソリューション

<<:  DockerとDocker-Composeの使用例

>>:  Vue の双方向イベントバインディング v-model の原理についての簡単な説明

推薦する

SpringBoot と Vue の相互作用におけるクロスドメイン問題の解決策

目次ブラウザ同一生成元ポリシー1. VUEフロントエンド構成プロキシはクロスドメインの問題を解決しま...

フレックスレイアウトを使用してページレイアウトを簡単に実装するためのサンプルコード

では、早速コードを見てみましょう。 1. 上部、中央、下部のレイアウト: <!DOCTYPE ...

加算、減算、乗算、除算の機能を実現するには、HTML に 2 つの数値を入力します。

1. parseFloat() 関数Web ページ上に簡単な計算機を作成し、テキスト ボックスに ...

MySQL 8.0 ディクショナリテーブル拡張の詳細な説明

MySQL のデータ ディクショナリは、データベースの重要なコンポーネントの 1 つです。INFOR...

IE6かどうかを判定する最短JS(IEの書き方)

ブラウザが IE のどのバージョンであるかを検出するためによく使用される JavaScript コー...

HTML で vue-router を使用するサンプル コード

vue と vue-router の紹介 <script src="https://...

最新の超詳細な VMware 仮想マシンのダウンロードとインストールのグラフィック チュートリアル

目次1. 仮想マシンをダウンロードする2. 仮想マシンのインストールVMware のダウンロードとイ...

Vue.js ソースコード解析のカスタム手順の詳細な説明

序文コア機能のデフォルトの組み込みディレクティブ (v-model および v-show) に加えて...

MySQL で左結合を使用して where 条件を追加する問題の詳細な分析

現在の需要:グループとファクターの 2 つのテーブルがあります。1 つのグループは複数のファクターに...

JavaScript 関数呼び出し、適用、バインド メソッドのケース スタディ

要約する1. 類似点どちらも、ターゲット関数が実行されると内部の this ポインターを変更できます...

js での Object.create インスタンスの使用法の詳細な説明

1. Object.create() メソッドを使用して新しいオブジェクトを作成し、既存のオブジェク...

vscodeカスタムvueテンプレートの実装

vscode エディタを使用して vue テンプレートを作成すると、新しい vue ファイルを作成す...

初心者向けMySQLインデックス

序文MySQL インデックスで最も重要なデータ構造は B+ ツリーなので、まずは B+ ツリーの原理...