MySQL で置換操作を使用したときにデータ損失が発生する問題の解決策

MySQL で置換操作を使用したときにデータ損失が発生する問題の解決策

序文

同社の開発者は、データの更新時に replace into ステートメントを使用していました。不適切な使用により、大量のデータが失われました。この記事では、データ損失がどのように発生したかを分析します。

1. 問題の説明

同社の開発者は、データの更新時に replace into ステートメントを使用していました。不適切な使用により、大量のデータが失われました。以下は、データ損失が発生した原因の分析です。

2. 問題分析

a. REPLACE原則

REPLACE INTO 原則の公式な説明は次のとおりです。

REPLACE は INSERT とまったく同じように動作しますが、テーブル内の古い行の値が PRIMARY KEY または UNIQUE インデックスの新しい行の値と同じである場合、新しい行が挿入される前に古い行が削除される点が異なります。

新しく挿入された行の主キーまたは一意キーがテーブル内に既に存在する場合、元のレコードは削除され、新しい行が挿入されます。テーブル内に存在しない場合は、直接挿入されます。

アドレス: https://dev.mysql.com/doc/refman/5.6/en/replace.html

b. 問題の症状

欠損データのテーブル構造は次のとおりです。

テーブル `active_items` を作成します (

実行される置換ステートメントは次のとおりです (複数)。

active_items(ad_id,score) VALUES('XXXXXXX', 1800) に置き換えます。

binlog をクエリして実行記録を検索すると、次のような結果が表示されます。

### `items`.`active_items` を更新します
### @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */

操作対象のad_idは既に存在するため、一旦削除してから挿入します。指定したad_idとスコア以外はデフォルト値に変更され、元のデータが失われていることがわかります(ログでは更新に変換されていますが)

c. 比較テスト

次に、以下のテストを実施しました。

  • MySQL 置換操作中のデータ損失
  • 左側では REPLACE ステートメントを使用し、右側では DELETE + INSERT ステートメントを使用します。最終結果はまったく同じです。
  • 元の主キーIDが1の行は削除され、新しく挿入された行の主キーIDは4に更新され、フィールドcには指定された内容なしでデフォルト値が挿入されます。
  • REPLACE を使用してデータ行が更新され、MySQL は影響を受ける行の数が 2 行であると表示しました。

要約すると、行が削除され、行が挿入されることを意味します。

3. データ復旧

データの損失またはデータ エラーが発生した場合、回復する方法はいくつかあります。

  1. ビジネス側は回復のための独自のスクリプトを作成する
  2. MySQL binlog を使用して不正な SQL を見つけ出し、データ回復用の逆 SQL を生成します (SQL データ量が小さい場合に適しています)
  3. 履歴バックアップファイルと増分バイナリログを使用して、誤った操作が発生する前の時点にデータの状態を復元します。

4. 問題の拡張

上記の分析から、REPLACE は古い行を削除して新しい行を挿入しますが、binlog はそれを更新の形式で記録するため、別の問題が発生することがわかります。

スレーブデータベースの自己成長値はマスターデータベースの自己成長値よりも小さい

1. テスト

a. マスタースレーブ一貫性:

メインライブラリ:

mysql> テーブル tG の作成を表示

ライブラリから:

mysql> テーブル tG の作成を表示

b. メインライブラリの置換:

メインライブラリ:

mysql> t (a,b)values(1,7) に置き換えます。

ライブラリから:

mysql> テーブル tG の作成を表示

マスターテーブルとスレーブテーブルの AUTO_INCREMENT 値が異なっていることに注意してください。

c. スレーブからマスターへのアップグレードをシミュレートし、スレーブ データベースで INSERT を実行します。

mysql> t に (a,b,c) 値 (4,4,4) を挿入します。

データベースから挿入する場合、エラーが報告され、主キーが重複します。エラーが報告された後、AUTO_INCREMENT が +1 されるため、再度実行すれば挿入が成功します。

2. 結論

この問題は通常の状況では影響はありませんが、

マスター データベースが定期的に大量の REPLACE ステートメントを使用し、スレーブ データベースの AUTO_INCREMENT 値がマスター データベースより大幅に遅れている場合、マスターとスレーブの切り替えが発生すると、データが再度挿入されるときに新しいマスター データベースに多数の主キー重複エラーが発生し、データの挿入が失敗します。

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。

以下もご興味があるかもしれません:
  • dockerがredisを再起動するとmysqlデータが失われる問題を解決する
  • サーバーがダウンしたときにMySQLデータの損失を防ぐためのいくつかのソリューション
  • MySQLデータ損失の原因と解決策
  • MySQLデータ損失のトラブルシューティング事例

<<:  Vueプラグインの実装で発生した問題の概要

>>:  Windows Server 2019 のセットアップ方法 (画像とテキスト付き)

推薦する

MySQL のクエリパフォーマンスに対する制限の影響

I. はじめにまず、MySQL のバージョンについて説明します。 mysql> バージョンを選...

MySQL 5.7.21 winx64 無料インストールバージョン設定方法グラフィックチュートリアル

MySQL 5.7.21 winx64無料インストールバージョンの設定方法、参考までに、具体的な内容...

シンプルな CSS テキストアニメーション効果

成果を達成する 実装コードhtml <div id=コンテナ> いらっしゃいませ <...

ウェブページをデザインする際に注意すべきいくつかの問題

Web デザインは、個人の好みや Web ページの内容に応じて、デザインのレイアウトが常に変化します...

Linux mpstat コマンドの使用方法の詳細な説明

1. mpstatコマンド1.1 コマンド形式 mpstat [ -A ] [ -u ] [ -V ...

CSSスコープ(スタイル分割)の使用の概要

1. CSSスコープの使用(スタイル分割) Vue では、CSS スタイルを現在のコンポーネントでの...

Vue の計算プロパティの紹介

目次1. 計算プロパティとは何ですか? 2. 計算プロパティの構文3. 例1. 計算プロパティとは何...

JavaScriptはボタンをクリックして4桁のランダムな検証コードを生成します

この記事の例では、ボタンをクリックすることで4桁のランダムな検証コードを生成するjsの具体的なコード...

ES6 配列のコピーおよびフィルメソッド copyWithin() および fill() の具体的な使用法

目次バッチコピー copyWithin()配列を埋めるメソッド fill()指数の計算方法については...

Windows 10 無料インストール版の MySQL インストールと設定のチュートリアル

ネットでいろいろ検索してみたところ、Linux システム向けではなく、現在の新しいバージョンと一致し...

MySQL パフォーマンス最適化インデックス プッシュダウン

インデックス条件プッシュダウン (ICP) は MySQL 5.6 で導入され、クエリを最適化するた...

MySQL binlog を使用して誤って削除されたデータベースを復元する方法

目次1 現在のデータベースの内容を表示し、データベースをバックアップする2 bin_log関数を有効...

JS がビデオ弾幕効果を実現

これを実現するには、ES6 モジュール開発とオブザーバー モードを使用します。オブザーバー パターン...

MySQL のロックとトランザクションの簡単な分析

MySQL 自体はファイルシステムに基づいて開発されましたが、ロックの存在が異なります。データベース...

カタツムリ映画システムのDocker展開の詳細なプロセス分析

環境に関する声明ホストOS: Cetnos7.9 最小インストールdocker バージョン: 20....