MySQL クイックデータ比較テクニック

MySQL クイックデータ比較テクニック

MySQL の運用と保守において、R&D の同僚が 2 つの異なるインスタンスのデータを比較し、違いを見つけたいと考えています。主キーに加えて、すべてのフィールドを比較する必要があります。どうすればよいでしょうか?

最初の解決策は、比較のために 2 つのインスタンスから各データ行を抽出するプログラムを作成することです。これは理論的には可能ですが、比較に時間がかかります。

2 番目の解決策は、各データ行のすべてのフィールドを結合し、チェックサム値を取得して、チェックサム値に従って比較することです。これは実現可能と思われるので、試してみてください。

まず、すべてのフィールドの値を結合し、MySQL が提供する CONCAT 関数を使用する必要があります。CONCAT 関数に NULL 値が含まれている場合、最終結果は NULL になります。したがって、次のように IFNULL 関数を使用して NULL 値を置き換える必要があります。

CONCAT(IFNULL(C1,''),IFNULL(C2,''))

結合するテーブルには多くの行があり、手動でスクリプトを作成するのは面倒です。心配しないでください。information_schema.COLUMNS を使用して処理できます。

## 列名の連結文字列を取得する SELECT
GROUP_CONCAT('IFNULL(',COLUMN_NAME,','''')')
information_schema.COLUMNS から 
ここで、TABLE_NAME='テーブル名';

次のテストテーブルがあると仮定します。

テーブル t_test01 を作成します
(
 id INT AUTO_INCREMENT 主キー、
 C1 INT、
 C2 INT
)

次に、次の SQL を抽出します。

選択
id、
MD5(CONCAT(
IFNULL(id,'')、
IFNULL(c1,'')、
IFNULL(c2,'')、
)) AS md5_value
t_test01より

2 つのインスタンスで実行し、Beyond Compare を使用して結果を比較します。異なる行と主キー ID を見つけるのは簡単です。

データ量が多いテーブルの場合、結果セットも大きくなり、比較が難しくなります。そのため、まず結果セットを縮小してみてください。複数の行の md5 値を組み合わせて MD5 値を計算できます。最終的な MD5 値が同じであれば、これらの行は同じです。異なる場合は、違いがあることを証明します。次に、これらの行を 1 行ずつ比較します。

1,000 行のグループで比較すると仮定します。グループ化された結果を結合する必要がある場合は、GROUP_CONCAT 関数を使用する必要があります。結合されたデータの順序を保証するために、GROUP_CONCAT 関数で並べ替えを追加する必要があることに注意してください。SQL は次のとおりです。

選択
min(id) を min_id として、
max(id) を max_id として、
count(1)をrow_countとして、
MD5(GROUP_CONCAT(
MD5(CONCAT(
IFNULL(id,'')、
IFNULL(c1,'')、
IFNULL(c2,'')、
)) IDで並べ替え
))AS md5_value
t_test01より
GROUP BY (id div 1000)

実行結果は次のとおりです。

最小ID 最大ID 行数 md5値
0 999 1000 7d49def23611f610849ef559677fec0c
1000 1999 1000 95d61931aa5d3b48f1e38b3550daee08
2000 2999 1000 b02612548fae8a4455418365b3ae611a
3000 3999 1000 fe798602ab9dd1c69b36a0da568b6dbb

異なるデータが少ない場合は、数千万のデータを比較する必要がある場合でも、min_id と max_id に基づいて相違のある 1,000 のデータを簡単に見つけ出し、MD5 値を 1 行ずつ比較して、最終的に異なる行を見つけることができます。

最終比較表:

追伸:

GROUP_CONCAT を使用する場合は、MySQL 変数 group_concat_max_len を設定する必要があります。デフォルト値は 1024 で、超過分はステージングされます。

以下もご興味があるかもしれません:
  • MySQL 5.7.20 共通ダウンロード、インストール、設定方法と簡単な操作スキル(解凍版無料インストール)
  • Java Web を使用して MySQL データベースに接続する方法
  • tcpdump を使用して mysql のパケットをキャプチャする方法
  • MySQL数千万の大規模データに対する30のSQLクエリ最適化テクニックの詳細な説明
  • 時間に基づいて日付をクエリするためのMySQL最適化テクニック
  • MYSQL クエリの効率を向上させる 10 の SQL ステートメント最適化テクニック
  • MySQL の一般的な問題とアプリケーション スキルの概要
  • MySQL データ ウェアハウスを保護するための 5 つのヒント
  • MySQL のデバッグと最適化に関する 101 のヒントを共有する
  • MySql SQL最適化のヒントの共有
  • MySQLインジェクションバイパスフィルタリング技術の概要
  • MySQLデータベースの共通操作スキルのまとめ

<<:  nginx のスムーズな再起動を実装する方法

>>:  JS デコレータ パターンと TypeScript デコレータ

推薦する

Vueウォッチの監視方法の概要

目次1. Vueにおけるwatchの役割はその名の通り、監視の役割です。 2. このオブジェクトのプ...

React でカレンダー コンポーネントを構築するためのステップ バイ ステップ ガイド

目次事業背景テクノロジーの活用技術的な問題デザインのアイデア😱 困惑と苦痛に満ちた顔🙄考え始める🌲デ...

Vue3 親子コンポーネントパラメータ転送における sync 修飾子の使用法の詳細な説明

目次一方向データフローの説明Vue2.x の使用法親コンポーネントに変更を通知するイベントのフォーム...

Vue3サンドボックスの仕組みの詳しい説明

目次序文ブラウザコンパイル版ローカルプリコンパイルバージョン要約する参照する序文vue3サンドボック...

MySQLでSQL文がどのように実行されるかの詳細な説明

概要最近MySQL関連の知識を勉強し始めました。学んだ知識ポイントと自分の理解を元に整理して共有しま...

複数の Tomcat を展開して起動し、プロジェクトを移行する方法を 1 つの記事で学習します。

目次tomcatをデプロイする1.ダウンロードして解凍する2. 設定ファイルを変更する移植プロジェク...

Windows 10 Home EditionにDockerをインストールする方法を教えます

Redisの本やSpring Cloud Alibabaの本を執筆した際に、一部の分散コンポーネント...

プロファイルを使用して遅い SQL を分析する MySQL の詳細な説明 (グループ左結合はサブクエリよりも効率的です)

プロファイルを使用して遅いSQLを分析するMySQL の SQL パフォーマンス アナライザーの主な...

proxy_pass がパス パスに従って転送する場合の "/" 問題の詳細な説明

nginx で proxy_pass を設定するときに、^~ に従ってパスを一致させる場合は、pro...

Nginx で WordPress 擬似静的を設定する方法の例

Baidu の擬似静的の説明を引用します。擬似静的は、実際の静的に相対的です。通常、検索エンジンの使...

設定ファイルを書いてMyBatisを簡単に使う方法

設定ファイルを書いてMyBatisを簡単に使う方法マイバティス3.xここでは MyBatis につい...

tinyMCEの使い方と体験の詳細な説明

tinyMCE の使用方法の詳細な説明初期化TinyMCE を初期化するときは、ページの HEAD ...

Navicat Premiumを使用してMySQLデータベースにリモート接続する方法

新しい接続を作成する側がクライアントに相当し、接続される側がサーバーに相当します。手順は次のとおりで...

CSS3でハートを描く

成果を達成する要件/機能: CSS + HTML を使用してハートを描く方法。分析:正方形と 2 つ...

Sparkの紹介とHadoopとの比較

目次1. SparkとHadoopの比較1.1 Haoopの欠点1.2 Hadoop MR に対する...