MySQL フラッシュバック ツール binlog2sql の詳細なインストールと設定のチュートリアル

MySQL フラッシュバック ツール binlog2sql の詳細なインストールと設定のチュートリアル

概要

binlog2sql は、Python で開発されたオープンソースの MySQL Binlog 解析ツールです。Binlog を元の SQL に解析できます。また、Binlog をロールバック SQL に解析し、主キーの INSERT SQL を削除することもサポートしています。これは、DBA や運用保守担当者がデータを回復するための優れたヘルパーです。

1. インストールと設定

1.1 目的

  • 高速データロールバック(フラッシュバック)
  • マスタースレーブ切り替え後の新しいマスターデータ損失の修復
  • バイナリログから標準SQLを生成し、派生関数を導入する
  • MySQL 5.6、5.7をサポート

1.2 インストール

シェル> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
シェル> pip インストール -r requirements.txt

2. 使用方法

2.1 使用前の設定

2.1.1 パラメータ設定

[mysqld]
サーバーID = 1
log_bin = /var/log/mysql/mysql-bin.log
最大バイナリログサイズ = 1G
binlog_format = 行
binlog_row_image = フル

2.1.2 ユーザーに必要な最小限の権限セット

選択、スーパー/レプリケーション クライアント、レプリケーション スレーブ

推奨される承認

*.* に SELECT、レプリケーションスレーブ、レプリケーションクライアント権限を付与

権限

  • select: サーバー側でinformation_schema.COLUMNSテーブルを読み取り、テーブル構造のメタデータを取得し、それを視覚的なSQL文に組み込む必要があります。
  • スーパー/レプリケーション クライアント: 両方の権限が利用可能です。サーバー側で binlog リストを取得するには、「SHOW MASTER STATUS」を実行する必要があります。
  • レプリケーションスレーブ: BINLOG_DUMP プロトコルを介してコンテンツをバイナリログする権限を取得します。

2.2 基本的な使い方

2.2.1 基本的な使い方

標準SQLを解析する

シェル> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -t test3 test4 
--start-file='mysql-bin.000002'
​
出力:
`test`.`test3`(`addtime`, `data`, `id`) に値 ('2016-12-10 13:03:38', 'english', 4) を挿入します。 
#開始 570 終了 736
`test`.`test3` を更新し、`addtime`='2016-12-10 12:00:00'、`data`='中文' を設定します。 
`id`=3 WHERE `addtime`='2016-12-10 13:03:22' AND `data`='中文' AND `id`=3 LIMIT 1; #開始 763 終了 954
`addtime`='2016-12-10 13:03:38' かつ `data`='english' かつ `id`=4 の場合、`test`.`test3` から削除します。
 LIMIT 1; #開始 981 終了 1147

ロールバックSQLを解析する

シェル> python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttest3 
--start-file='mysql-bin.000002' --start-position=763 --stop-position=1147
​
出力:
`test`.`test3`(`addtime`, `data`, `id`) に値 ('2016-12-10 13:03:38', 'english', 4) を挿入します。 
#開始 981 終了 1147
`test`.`test3` を更新し、`addtime`='2016-12-10 13:03:22'、`data`='中文' を設定します。 
`id`=3 WHERE `addtime`='2016-12-10 12:00:00' AND `data`='中文' AND `id`=3 LIMIT 1; #開始 763 終了 954

2.2.2 オプション

mysql接続構成

-h ホスト; -P ポート; -u ユーザー; -p パスワード

解析モード

--stop-never binlog の解析を続行します。オプション。デフォルト値は False で、コマンドが実行されたときに最新の binlog 位置に同期することを意味します。

-K, --no-primary-key INSERT ステートメントから主キーを削除します。オプション。デフォルト: False

-B、--flashback はロールバック SQL を生成し、大きなファイルを解析でき、メモリによって制限されません。オプション。デフォルトは False です。 stop-never または no-primary-key と同時に追加することはできません。

--back-interval -B モードでは、ロールバック SQL 行が 1,000 行出力されるたびに、一定秒数の SLEEP ステートメントを追加します。SLEEP を追加しない場合は、0 に設定してください。オプション。デフォルトは1.0です。

解像度範囲制御

--start-file 開始解析ファイルにはファイル名のみが必要で、完全なパスは必要ありません。しなければならない。

--start-position/--start-pos 解析開始位置。オプション。デフォルトは start-file の開始位置です。

--stop-file/--end-file ファイルの解析を停止します。オプション。デフォルトは start-file と同じファイルです。解析モードが stop-never の場合、このオプションは効果がありません。

--stop-position/--end-pos 解析位置を停止します。オプション。デフォルトは停止ファイルの最後の位置です。解析モードが stop-never の場合、このオプションは無効です。

--start-datetime 解析開始時刻。形式は '%Y-%m-%d %H:%M:%S' です。オプション。デフォルトではフィルタリングはありません。

--stop-datetime 時間の解析を停止します。形式は '%Y-%m-%d %H:%M:%S' です。オプション。デフォルトではフィルタリングはありません。

オブジェクトフィルタリング

-d, --databases は、ターゲット db の SQL のみを解析します。複数のデータベースは、-d db1 db2 のようにスペースで区切られます。オプション。デフォルト値は空です。

-t、--tables は、対象テーブルの SQL のみを解析します。複数のテーブルは、-t tbl1 tbl2 のようにスペースで区切られます。オプション。デフォルト値は空です。

--only-dml dml のみを解析し、ddl は無視します。オプション。デフォルトは False です。

--sql-type は指定されたタイプのみを解析し、INSERT、UPDATE、および DELETE をサポートします。複数のタイプは、--sql-type INSERT DELETE のようにスペースで区切られます。オプション。デフォルトでは、すべての追加、削除、変更を解析します。このパラメータが使用されてもタイプが入力されていない場合は、3 つのいずれも解析されません。

2.3 適用事例

2.3.1 テーブルデータ全体が誤って削除され、緊急ロールバックが必要になった

テスト ライブラリ内の tbl テーブルの元のデータmysql> select * from tbl;
+----+--------+---------------------+
| ID | 名前 | 追加時刻 |
+----+--------+---------------------+
| 1 | シャオ・ジャオ | 2016-12-10 00:04:33 |
| 2 | 小千 | 2016-12-10 00:04:48 |
| 3 | シャオサン | 2016-12-13 20:25:00 |
| 4 | シャオ・リー | 2016-12-12 00:00:00 |
+----+--------+---------------------+
セット内の行数 (0.00 秒)
​
mysql> テーブルから削除します。
クエリは正常、4 行が影響を受けました (0.00 秒)
​
20:28 に、エラーのため tbl テーブルがクリアされました。mysql> select * from tbl;
空のセット (0.00 秒)

データを復元する手順:

mysqlにログインして現在のbinlogファイルを表示します

mysql> マスターステータスを表示します。
+------------------+-----------+
| ログ名 | ファイルサイズ |
+------------------+-----------+
|mysql-bin.000051 | 967 |
|mysql-bin.000052 | 965 |
+------------------+-----------+

最新の binlog ファイルは mysql-bin.000052 です。不正な SQL 操作の binlog の場所を見つけましょう。ミスを犯した人はミスが起きたおおよその時間しか知らないので、おおよその時間に基づいてデータをフィルタリングします。

シェル> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl 
--start-file='mysql-bin.000052' --start-datetime='2016-12-13 20:25:00' --stop-datetime='2016-12-13
 20:30:00'
出力:
`test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:26:00', 4, 'Xiao Li') に INSERT INTO します。 
#開始 317 終了 487 時間 2016-12-13 20:26:26
`test`.`tbl` を更新し、`addtime`='2016-12-12 00:00:00'、`id`=4、`name`='Xiao Li' を設定します。WHERE `addtime`='2016-12-13 20:26:00' AND `id`=4 AND `name`='Xiao Li' LIMIT 1; #開始 514 終了 701 時間 2016-12-13 20:27:07
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:33' AND `id`=1 AND `name`='小赵' LIMIT 1; #開始 728 終了 938 時間 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-13 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-12 00:00:00' AND `id`=4 AND `name`='Xiao Li' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05

3. 不正な SQL の正確な位置は 728 ~ 938 の間であることがわかりました。位置に基づいてさらにフィルタリングし、フラッシュバック モードを使用してロールバック SQL を生成し、ロールバック SQL が正しいかどうかを確認します (注: 実際の環境では、この手順で必要な SQL をさらにフィルタリングすることがよくあります。grep、エディターなどと組み合わせて使用​​します)。

シェル> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-position=3346 --stop-position=3556 -B > rollback.sql | cat
出力:
`test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 4, 'Xiao Li') に INSERT します。#開始 728 終了 938 時間 2016-12-13 20:28:05
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:25:00', 3, '小孙'); #開始 728 終了 938 時間 2016-12-13 20:28:05
INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:48', 2, '小钱'); #開始 728 終了 938 時間 2016-12-13 20:28:05
`test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 1, 'Xiao Zhao') に INSERT INTO します。#開始 728 終了 938 時間 2016-12-13 20:28:05

4. ロールバック SQL が正しいことを確認し、ロールバック ステートメントを実行します。 MySQL にログインして、データのロールバックが成功したことを確認します。

シェル> mysql -h127.0.0.1 -P3306 -uadmin -p'admin' < ロールバック.sql
​
mysql> テーブルから * を選択します。
+----+--------+---------------------+
| ID | 名前 | 追加時刻 |
+----+--------+---------------------+
| 1 | シャオ・ジャオ | 2016-12-10 00:04:33 |
| 2 | 小千 | 2016-12-10 00:04:48 |
| 3 | シャオサン | 2016-12-13 20:25:00 |
| 4 | シャオ・リー | 2016-12-12 00:00:00 |
+----+--------+---------------------+

結論

3.1 制限事項(mysqlbinlog との比較)

  • MySQL サーバーを起動する必要があります。オフライン モードでは解析できません。
  • パラメータ binlog_row_image は FULL である必要があります。MINIMAL はまだサポートされていません。
  • 解析速度はmysqlbinlogほど速くない

3.2 利点(mysqlbinlog と比較)

  • 純粋なPython開発、インストールと使用が簡単
  • フラッシュバックと主キーなしの解析モードが組み込まれているため、パッチのインストールは不要です。
  • フラッシュバックモードでは、フラッシュバック戦闘に適しています。
  • 標準SQLに解析して簡単に理解し、スクリーニングできる
  • コードは簡単に変更でき、よりパーソナライズされた分析をサポートできます。

要約する

MySQL フラッシュバック ツール binlog2sql の詳細なインストールと設定に関するこの記事はこれで終わりです。MySQL フラッシュバック ツール binlog2sql の関連コンテンツの詳細については、123WORDPRESS.COM の以前の記事を検索するか、次の関連記事を引き続き参照してください。今後とも 123WORDPRESS.COM をよろしくお願いいたします。

以下もご興味があるかもしれません:
  • MySQL で binlog を使用する際のフォーマットの選択方法
  • 検証例 MySQL | 同じ値を持つフィールドを更新すると、binlog に記録されます
  • MySQLを監視するためのbinlogログ解析ツールの詳しい説明:Canal
  • MySQL 8.0 の binlog の詳細な説明
  • MYSQL の binlog 最適化に関する考察の要約
  • MySQLはmysqldump+binlogを使用して、削除されたデータベースの原理分析を完全に復元します。
  • MySQLテーブルの内容の変更を監視し、MySQL binlogを有効にする
  • MySQL バイナリログデータ復旧: 誤ってデータベースを削除した場合の詳細な説明
  • MySQL binlog_ignore_dbパラメータの具体的な使用法

<<:  Linux で推奨される 9 つの優れたコード比較ツールの概要

>>:  シンプルなカルーセル効果を実現するネイティブ js

推薦する

自分のブログを構築しながら学んだこと

<br />ブログを始めて 1 年、私はブログの内外で多くのことを個人的に学びました。ま...

JavaScriptにおけるこのポインティング問題の詳細な説明

序文JS の this ポインターは、初心者にとって常に頭痛の種でした。今日は、これが地面に落ちたと...

Vueはランニングライトのシンプルな効果を実現

この記事では、マーキーのシンプルな効果を実現するためのVueの具体的なコードを参考までに共有します。...

Java+Tomcat 環境の展開とインストールのプロセス図

次に、Centos7 に Java+Tomcat をインストールします。インターネット上には多くの記...

Linux deb パッケージの解凍、変更、その他の操作方法のコード例

さまざまな理由により、debパッケージ内のさまざまなファイルの内容を直接変更する必要がある場合があり...

JavaScriptプロトタイプとプロトタイプチェーンを徹底的に理解する

目次序文基礎を築くプロトタイプコンストラクタのプロパティ__プロト__プロトタイプチェーン改善する要...

MySQLは実際に分散ロックを実装できる

序文前回の記事では、eコマース シナリオでのフラッシュ セールの例を通じて、モノリシック アーキテク...

Ubuntuにmysql5.7.10を手動でインストールする

このチュートリアルでは、UbuntuにMySQL 5.7.10を手動でインストールする手順を参考まで...

Centos8 (最小インストール) Python3.8+pip のインストール方法に関するチュートリアル

Python8のインストールを最小化した後、Python3.8.1をインストールしました。オンライン...

Reactでのイベントバインディングの実装は3つの方法を指しています

1. 矢印関数1. 矢印関数自体はこれをバインドしないという事実を利用します。 2. render(...

WeChatアプレット開発で遭遇したことのない落とし穴のまとめ

目次getApp()ページエントリファイルの先頭に変数を定義しますwx.createSelector...

MySQL 5.7.20 zip インストール チュートリアル

MySQL 5.7.20 zipインストール、具体的な内容は次のとおりです(1)圧縮パッケージを解凍...

Vue3 の ref toRef と toRefs の違いを理解する方法

目次1. 基本1.参照2. 参照3. 参照4. 最適な使い方2. 詳細な1. なぜrefが必要なのか...

Bootstrap3.0 学習ノートテーブル関連

この記事では、Webサイトを作ったことがある人にとっては馴染みのあるテーブルについて主に説明します。...

IE環境では、divの高さはフォントの高さよりも大きくなければならないと規定されています。

コードをコピーコードは次のとおりです。 <div class="content&qu...