MySQLデータ遅延ジャンプの問題の解決策

MySQLデータ遅延ジャンプの問題の解決策

今日は、データベース遅延ジャンプに関する別の典型的な問題を分析しました。このプロセスでは、参考のために問題を分析するためのいくつかの方法とテクニックも提供しました。

まず、高可用性テストでは、一連の環境検出が断続的でした。調査の結果、データベースに遅延があることがわかりました。スレーブライブラリにログインしてshow slave statusを確認すると、Seconds_behind_masterの値が絶えずジャンプしていることがわかりました。つまり、0〜39〜0〜39の頻度でジャンプし続けており、非常に腹立たしいことです。

データベースの関連ログを確認したところ、参照できるログ記録がないことがわかりました。この問題をどのように分析すればよいでしょうか。まずは再現してみましょう。そこで、リズムに合わせて問題のログを3回キャプチャしました。つまり、show slave statusを介して継続的に監視し、show slave statusの出力結果をキャプチャして保存しました。このようにして、問題発生時のオフセットの変化を取得できます。この変化は、再生プロセス中にSQLThreadによって引き起こされた問題です。

例えば、次の出力では、スレーブ側のリレーログを傍受して分析しました。対応するフィールドはRelay_Log_Posです。

Slave_IO_State: マスターがイベントを送信するのを待機中
         マスターホスト: xxxx
         マスターユーザー: dba_repl
         マスターポート: 4306
        接続再試行: 60
       マスターログファイル:mysqlbin.000044
     読み取りマスターログ位置: 386125369
        リレーログファイル: スレーブリレーbin.000066
        リレーログ位置: 386125580
    リレーマスターログファイル: mysqlbin.000044

オフセットの変化はすぐに分かります: 385983806、386062813、386125580

次に、mysqlbinlog を使用して、これらのログ プロセスの詳細を分析し始めました。次のコマンドを実行すると、ダンプされたログ内の関連する 3 つのテーブルをすぐに取得できます。

# grep INSERT relaylog_xxxx.dump |awk '{print $3 " " $4}'|sed 's/INTO//g'|sort|uniq
 アクション実行情報
 行為参加説明
 dic_補助金_マーケティング_クエリログ_202008

各テーブルのデータ操作を少しずつ分析してみましたが、得られる情報はまだ限られていました。さらに分析を続け、例えば、ログ全体のトランザクション量を分析してみましょう。

# mysqlbinlog slave-relay-bin.000066 | grep "GTID$(printf '\t')last_committed" -B 1 \
> | grep -E '^# at' | awk '{print $3}' \
> | awk 'NR==1 {tmp=$1} NR>1 {print ($1-tmp);tmp=$1}' \
> | ソート -n -r | ヘッド -n 100
mysqlbinlog: [警告] 不明な変数 'loose-default-character-set=utf8'
5278
5268
5268
5268
5253
5253
5253
5253
5253

約 5K と比較的大きいことがわかります。この追加情報はどこから来るのでしょうか? メイン データベースで general_log を有効にして、より詳細な操作ログを取得できるようにしました。

さらに分析を進めると、業務全体で明示的なトランザクション方式(SET autocommit=0)が使用されていたことが判明しました。トランザクション全体には複数の大きなSQL文が含まれており、大量の操作ログの詳細が保存されていました。また、トランザクション操作中に、Mybatisフレームワークに基づいて、複数のselect count(1) from xxx操作が呼び出されていました。

事業者とのコミュニケーションの結果、上記の問題点は基本的に解決されました。

上記は、MySQL データの遅延とジャンプの問題に対する詳細な解決策です。MySQL データの遅延とジャンプの詳細については、123WORDPRESS.COM の他の関連記事に注目してください。

以下もご興味があるかもしれません:
  • MySQLの挿入文字化け問題を解決する方法
  • MySQLを閉じることができない問題を解決する方法
  • MySQLデータベースが予期せずクラッシュし、テーブルデータファイルが破損して起動できなくなる問題を解決します。
  • この記事では、Django 2.2とMySQLの互換性の問題を解決します。
  • MySQL から Excel にテーブルデータをエクスポートする際の日時形式に関する簡単な説明
  • MySQLからデータをインポートする際の不正なフォーマット、インポートの遅延、データ損失などの問題を迅速に解決します。
  • MySQL からエクスポートされた scv ファイル内の文字化けやジャンプ行の問題をすばやく解決します
  • Docker の MySQL コンテナのタイムゾーン問題の修正
  • pyMySQL SQL ステートメントのパラメータ渡しの問題、単一パラメータまたは複数パラメータの説明
  • MySQL 5.7.30 のインストールとアップグレードの問題に関する詳細なチュートリアル

<<:  Vue3とTypeScriptを組み合わせたプロジェクト開発の実践の概要

>>:  Ubuntu 20.04 Firefox でビデオを再生できない (Flash プラグインがない) 場合の解決策

推薦する

Vue nextTickの原理の分析

目次イベントループmiscroTask (マイクロタスク) UI レンダリング (重要なポイント)次...

Linuxでシンボリックリンクを削除(削除)するコマンド

Linux では、シンボリック リンクを作成または削除する必要がある場合があります。もしそうなら、何...

MySQLでレコードを変更する場合、更新操作フィールド = フィールド + 文字列

シナリオによっては、varchar 型のフィールドを変更する必要があり、変更の結果は 2 つのフィー...

CSS3 タブアニメーションの例 背景切り替えの動的効果

CSS 3 アニメーションの例 - タブの背景切り替えの動的効果、具体的なコードは次のとおりです。 ...

HTML シンプルな Web フォーム作成例の紹介

<input> はユーザー情報を収集するために使用され、終了ステートメントはありません。...

CSS 属性値正規マッチングセレクターの使い方 (ヒント)

属性値の正規一致セレクターには 3 つの種類があります。 [属性^="値"] [...

PHP 開発環境の構築に関する win10 docker-toolsbox チュートリアル

画像をダウンロード docker プル mysql:5.7 docker pull php:7.2-...

CentOS7.4 で JDK1.8 をインストールするためのグラフィカル チュートリアル

Linux インストール JDK1.8 手順1. CentOS に独自の openJDK があるかど...

MySQL で datetime 型のデフォルト値を設定する方法

Navicat クライアントを通じてデフォルトの日時値を変更する際に問題が発生しました。データベース...

Macシステムをインストールした後にVMWareがフルスクリーンで表示できない問題を解決する

システム: VMTOOLs ダウンロード:リンク: https://pan.baidu.com/s/...

JavaScript シミュレーション計算機

この記事では、JavaScriptシミュレーション計算機の具体的なコードを参考までに紹介します。具体...

フォーム送信時に追加のパラメータを渡すためのいくつかの一般的な方法

フォームを送信するときに、送信前に追加のパラメータが追加される状況が発生する場合があります。この問題...

さまざまなReact状態マネージャーの解釈と使用方法

まず、状態マネージャーとは何か、そしてそれが何をするのかを知る必要があります。複数のページで同じプロ...

MySQLデータベースのマスタースレーブ同期の実際のプロセスの詳細な説明

目次インストール環境の説明MySQLデータベースサービスをインストールするメインライブラリを構成する...

VMware IOInsight を使用して、仮想マシンのストレージ パフォーマンスの監視を改良する

例: VMware IOInsight は、VM のストレージ I/O 動作を理解するのに役立つツー...