MySQLの不合理なMaxIdleConnsにより接続が短くなる

MySQLの不合理なMaxIdleConnsにより接続が短くなる

1 背景

最近、Shimo Document のオンライン ビジネスでパフォーマンスの問題が発生しました。突然のトラフィック状況により、1 つのビジネスのパフォーマンスが急激に低下しました。このサービスはデータベースに依存しており、データベースからデータをバッチで取得します。一連のトラブルシューティングを行った結果、サービスからデータベースへの接続数が MaxIdleConns を頻繁に超過していることがわかりました。パフォーマンスの問題はデータベースの構成に起因しているのではないかと疑い、データベース コードを分析し、関連する実験を実施しました。

2 構成の解釈

maxIdleCount int // ゼロは defaultMaxIdleConns を意味します。負数は 0 を意味します
maxOpen int // <= 0 は無制限を意味します
maxLifetime time.Duration // 接続を再利用できる最大時間
maxIdleTime time.Duration // 接続が閉じられるまでアイドル状態が維持される最大時間

上記の 4 つの構成が Go MySQL クライアントの最も重要な構成であることがわかります。

maxIdleCount アイドル接続の最大数。デフォルトでは設定されておらず、最大アイドル接続数は 2 です。

maxOpen 最大接続数。デフォルトでは設定されていないため、最大接続数は制限されません。

maxLifetime 最大接続存続期間

maxIdleTime アイドル接続の最大存続期間

3 ソースコード分析

私たちのシナリオでは、クライアントによって MySQL に確立される接続の数が、アイドル接続の最大数よりも大きくなることがよくあります。これによりどのような問題が発生しますか?下の図のソースコードを見てみましょう。

アイドル接続の最大数がクライアントとデータベース間で確立された接続数より少ない場合、false が返され、接続クローズ カウンターの最大数が 1 増加することがわかります。

上の図では、接続が閉じられていることがわかります (MySQL ソース コードは、閉じる前にバッファ時間を残しません)。 Go MySQL クライアントのこの操作により、トラフィックのバーストが発生したときに、リクエスト量が大きくなりすぎて、アイドル接続の最大数の負荷を超えてしまいます。この場合、新しい接続が接続プールに入れられると、容赦なく閉じられ、短い接続になり、サービスのパフォーマンスがさらに低下します。

4つの実験

4.1 オンライン同時通話数がMaxIdConnsを超える状況をシミュレートする

テスト コード、上記のロジックをテストするために、次のシナリオを想定します。最大接続数は 100 に設定され、アイドル接続の最大数は 1 に設定され、データベースを要求する同時 goroutine の数は 10 です。 MySQL 統計の maxIdleClosed の統計を見ると、次の図に示すように、接続が絶えず閉じられていることがわかります。

4.2 オンライン同時接続数がMaxIdConnsより少ない状況をシミュレートする

テスト コードでは、最大接続数が 100、最大アイドル接続数が 20、データベースを要求する同時 goroutine 数が 10 に設定されているというシナリオを想定しています。下の図に示すように、MaxIdleClosed のクローズ統計はありません。

4.3 パケットをキャプチャして、オンライン同時実行数がMaxIdConnsより大きいことを確認する

コードをテストします。コードを誤解していないことを確認するには、パッケージをキャプチャするのが最も安全です。メイン関数に select{} を配置します。プログラムが mysql ステートメントを実行した後、TCP ステータスとパケット キャプチャ データを確認します。

TCP ステータス統計が MySQL クライアント統計と一致しており、fin パッケージが存在することがわかります。

5 結論

トラフィックのバーストが発生すると、リクエスト量が大きくなり、アイドル接続の最大数の負荷を超えます。この場合、新しい接続は接続プールに配置された時点で閉じられ、接続が短い接続になり、サービスのパフォーマンスがさらに低下します。この状況を回避するために、次のような最適化対策を講じることができます。

短い接続を避けるために、maxIdleConnsを事前に大きな値に設定してください。

MySQLの読み取りと書き込みの分離をうまく行う

MySQLのスループットを向上: 返されるフィールドを合理化し、不要なフィールドを返さず、接続を迅速に再利用します。

パケットの断片化を避けるために、スループット パケットは大きすぎないようにする必要があります。

接続プールを最適化します。クライアントから MySQL への接続数が最大アイドル接続数を超えると、クローズが遅れることがあります (公式にはサポートされていないため、おそらく自分で実装するしかありません)

読み取りリクエストをMySQLに置かず、Redisに置くようにしてください。

6 テストコード

https://github.com/gotomicro/test/tree/main/gorm

以上がMySQLのMaxIdleConnsが不合理でショート接続になってしまう原因の詳しい内容です。MySQLのMaxIdleConnsが不合理な理由について、詳しくは123WORDPRESS.COMの関連記事もご覧ください!

以下もご興味があるかもしれません:
  • Mysql 主キー UUID と自動増分主キーの違いと利点と欠点
  • 特定の部門 ID に基づいて、すべての下位レベルの複数レベルのサブ部門を照会する MySQL の例
  • MySQLでデータを挿入した後に自動増分IDを返す7つの方法の詳細な説明
  • IDEA を使用して Tomcat を設定し、MySQL データベース (JDBC) に接続するための詳細な手順
  • MYSQL データベース GTID はマスタースレーブレプリケーションを実現します (超便利)
  • MySQL の自動増分 ID (主キー) が不足した場合の解決策
  • JDBC-idea で mysql をインポートして java jar パッケージに接続する (mac)
  • MySQL が uuid または snowflake id を主キーとして使用することを推奨しない理由の詳細な分析
  • MySQL は ACID トランザクションをどのように実装しますか?
  • IDEA が MySQL に接続する際の問題と解決策
  • MySQLはIDに適切なデータ型を選択します

<<:  Docker で Let's Encrypt から永久無料 SSL 証明書を取得する方法

>>:  ウェブフォームデザインのための5つの実用的なヒント

推薦する

Linux環境でのActiveMQ導入方法の詳しい説明

この記事では、Linux 環境での ActiveMQ の展開方法について説明します。ご参考までに、詳...

リアクトルーティングガード(ルーティングインターセプション)の実装

React は Vue とは異なります。ルートにメタ文字を設定することでルートインターセプションを実...

Vue.js での VNode の使用

VNodeとはvue.js には VNode クラスがあり、これを使用してさまざまな種類の vnod...

Dockerfile の一般的なコマンドの概要

構文の構成: 1 注釈情報2 コマンド --- パラメータ [通常は大文字 | 実際には大文字と小文...

Reactイベントスロットリング効果が失敗する理由と解決策

目次ここでの問題は次の通りです:解決策1:解決策2: コンストラクタで初期化を割り当てる採掘場の概要...

MySQL データベース内の数十億のデータを素早くクリーンアップする方法

今日、ディスクアラーム例外を受け取りました。50G ディスクが爆発しました。分析と解決のプロセスは次...

オンライン MYSQL 同期エラーのトラブルシューティング方法の概要 (必読)

序文フェイルオーバーが発生した後、よくある問題は同期エラーです。データベースが小さい場合は、ダンプし...

TSオブジェクトのスプレッド演算子とレスト演算子の詳細な説明

目次概要オブジェクトの残り属性オブジェクトの拡張プロパティオブジェクトの浅いコピーを作成するkeyo...

床スクロール効果を実現する js

この記事ではjQueryを使用して、階段のスライド効果を実装し、フロアをスクロールし、フロアボタンを...

Win7 で IIS7 Web および FTP サービスを完全にアンインストールする方法

昨日、パソコンにPHP開発環境をセットアップした後、Apacheサーバーを再起動するとエラーが続きま...

Docker ベースのよく使われる CentOS7 イメージの概要

目次1 Dockerをインストールする2 国内ミラーソースの設定3 中国語環境基本版Centos7イ...

IE ラベル LI テキスト折り返し問題について

私は長い間この問題に悩まされていましたが、検索してみたところ、実際にこの問題を解決した人がいることが...

Vue+echarts で積み上げ棒グラフを実現

この記事では、積み上げ棒グラフを実装するためのVue+echartsの具体的なコードを参考までに紹介...

複数のサーバーにNginxリバースプロキシを実装する方法

Nginx は複数のサーバーをリバース プロキシします。つまり、nginx に異なるリクエストを送信...

CSSでスペースを処理する方法

1. 宇宙のルールHTML コード内の空白は通常、ブラウザによって無視されます。 <p>...