MySQLの不合理なMaxIdleConnsにより接続が短くなる

MySQLの不合理なMaxIdleConnsにより接続が短くなる

1 背景

最近、Shimo Document のオンライン ビジネスでパフォーマンスの問題が発生しました。突然のトラフィック状況により、1 つのビジネスのパフォーマンスが急激に低下しました。このサービスはデータベースに依存しており、データベースからデータをバッチで取得します。一連のトラブルシューティングを行った結果、サービスからデータベースへの接続数が MaxIdleConns を頻繁に超過していることがわかりました。パフォーマンスの問題はデータベースの構成に起因しているのではないかと疑い、データベース コードを分析し、関連する実験を実施しました。

2 構成の解釈

maxIdleCount int // ゼロは defaultMaxIdleConns を意味します。負数は 0 を意味します
maxOpen int // <= 0 は無制限を意味します
maxLifetime time.Duration // 接続を再利用できる最大時間
maxIdleTime time.Duration // 接続が閉じられるまでアイドル状態が維持される最大時間

上記の 4 つの構成が Go MySQL クライアントの最も重要な構成であることがわかります。

maxIdleCount アイドル接続の最大数。デフォルトでは設定されておらず、最大アイドル接続数は 2 です。

maxOpen 最大接続数。デフォルトでは設定されていないため、最大接続数は制限されません。

maxLifetime 最大接続存続期間

maxIdleTime アイドル接続の最大存続期間

3 ソースコード分析

私たちのシナリオでは、クライアントによって MySQL に確立される接続の数が、アイドル接続の最大数よりも大きくなることがよくあります。これによりどのような問題が発生しますか?下の図のソースコードを見てみましょう。

アイドル接続の最大数がクライアントとデータベース間で確立された接続数より少ない場合、false が返され、接続クローズ カウンターの最大数が 1 増加することがわかります。

上の図では、接続が閉じられていることがわかります (MySQL ソース コードは、閉じる前にバッファ時間を残しません)。 Go MySQL クライアントのこの操作により、トラフィックのバーストが発生したときに、リクエスト量が大きくなりすぎて、アイドル接続の最大数の負荷を超えてしまいます。この場合、新しい接続が接続プールに入れられると、容赦なく閉じられ、短い接続になり、サービスのパフォーマンスがさらに低下します。

4つの実験

4.1 オンライン同時通話数がMaxIdConnsを超える状況をシミュレートする

テスト コード、上記のロジックをテストするために、次のシナリオを想定します。最大接続数は 100 に設定され、アイドル接続の最大数は 1 に設定され、データベースを要求する同時 goroutine の数は 10 です。 MySQL 統計の maxIdleClosed の統計を見ると、次の図に示すように、接続が絶えず閉じられていることがわかります。

4.2 オンライン同時接続数がMaxIdConnsより少ない状況をシミュレートする

テスト コードでは、最大接続数が 100、最大アイドル接続数が 20、データベースを要求する同時 goroutine 数が 10 に設定されているというシナリオを想定しています。下の図に示すように、MaxIdleClosed のクローズ統計はありません。

4.3 パケットをキャプチャして、オンライン同時実行数がMaxIdConnsより大きいことを確認する

コードをテストします。コードを誤解していないことを確認するには、パッケージをキャプチャするのが最も安全です。メイン関数に select{} を配置します。プログラムが mysql ステートメントを実行した後、TCP ステータスとパケット キャプチャ データを確認します。

TCP ステータス統計が MySQL クライアント統計と一致しており、fin パッケージが存在することがわかります。

5 結論

トラフィックのバーストが発生すると、リクエスト量が大きくなり、アイドル接続の最大数の負荷を超えます。この場合、新しい接続は接続プールに配置された時点で閉じられ、接続が短い接続になり、サービスのパフォーマンスがさらに低下します。この状況を回避するために、次のような最適化対策を講じることができます。

短い接続を避けるために、maxIdleConnsを事前に大きな値に設定してください。

MySQLの読み取りと書き込みの分離をうまく行う

MySQLのスループットを向上: 返されるフィールドを合理化し、不要なフィールドを返さず、接続を迅速に再利用します。

パケットの断片化を避けるために、スループット パケットは大きすぎないようにする必要があります。

接続プールを最適化します。クライアントから MySQL への接続数が最大アイドル接続数を超えると、クローズが遅れることがあります (公式にはサポートされていないため、おそらく自分で実装するしかありません)

読み取りリクエストをMySQLに置かず、Redisに置くようにしてください。

6 テストコード

https://github.com/gotomicro/test/tree/main/gorm

以上がMySQLのMaxIdleConnsが不合理でショート接続になってしまう原因の詳しい内容です。MySQLのMaxIdleConnsが不合理な理由について、詳しくは123WORDPRESS.COMの関連記事もご覧ください!

以下もご興味があるかもしれません:
  • Mysql 主キー UUID と自動増分主キーの違いと利点と欠点
  • 特定の部門 ID に基づいて、すべての下位レベルの複数レベルのサブ部門を照会する MySQL の例
  • MySQLでデータを挿入した後に自動増分IDを返す7つの方法の詳細な説明
  • IDEA を使用して Tomcat を設定し、MySQL データベース (JDBC) に接続するための詳細な手順
  • MYSQL データベース GTID はマスタースレーブレプリケーションを実現します (超便利)
  • MySQL の自動増分 ID (主キー) が不足した場合の解決策
  • JDBC-idea で mysql をインポートして java jar パッケージに接続する (mac)
  • MySQL が uuid または snowflake id を主キーとして使用することを推奨しない理由の詳細な分析
  • MySQL は ACID トランザクションをどのように実装しますか?
  • IDEA が MySQL に接続する際の問題と解決策
  • MySQLはIDに適切なデータ型を選択します

<<:  Docker で Let's Encrypt から永久無料 SSL 証明書を取得する方法

>>:  ウェブフォームデザインのための5つの実用的なヒント

推薦する

Vueはシンプルなマーキー効果を実装します

この記事では、Vueの具体的なコードを共有して、シンプルなマーキー効果を実現しています。具体的な内容...

MySQL/MariaDB ルートパスワードリセットチュートリアル

序文パスワードを忘れることは、よく遭遇する問題です。MySQL または MariaDB データベース...

Vueパンくずコンポーネントのカプセル化方法

Vueはパンくずコンポーネントをカプセル化して参照します。具体的な内容は次のとおりです。効果を達成す...

MySQL シリーズ 4 SQL 構文

目次チュートリアルシリーズ1. SQL言語の紹介と仕様2. データベース操作1. ライブラリを作成す...

CentOS 8.0.1905 は ZABBIX 4.4 バージョンをインストールします (検証済み)

Zabbix サーバー環境プラットフォームバージョン: ZABBIX バージョン 4.4システム:...

Prometheus を使用して、MySQL の自動増分主キーの残りの使用可能パーセンテージをカウントします。

最近、本番環境のデータベースがログデータを狂ったように書き込み、主キー値のオーバーフローを引き起こし...

Windows 10 に TomCat をインストールするチュートリアル図

WindowsにTomCatをインストールするこの記事では、WindowsプラットフォームにTomC...

iframe 適応サイズ実装コード

ページドメインの関係:メインページ a.html はドメイン A: www.jb51.net に属し...

Linux gccコマンドの具体的な使い方

01. コマンドの概要gcc コマンドは、GNU がリリースした C/C++ ベースのコンパイラを使...

ウェブページでコンテンツを引用するためによく使われるHTMLタグをマスターする

長い引用には blockquote を、短い引用には q を、参考文献には cite を使用します。...

アコーディオン効果を実現するネイティブ js

実際のWebページ開発でも、アコーディオンは頻繁に登場します。簡単なアコーディオンを作ったのですが、...

CSS3 境界効果

CSSとは# CSS (Cascading Style Sheets の略) は、「カスケーディング...

Vue のデータ応答性に関する詳細な理解

目次1. ES 構文のゲッターとセッター2. ES構文でのdefineProperty 3. Vue...

JS は VUE コンポーネントに基づいて都市リスト効果を実装します

この記事の例では、VUEコンポーネントに基づいて都市リストエフェクトを実装するための具体的なコードを...

VMware仮想マシンブリッジによるインターネット相互接続を実現する方法

VMware をインストールして新しい仮想マシンを作成したら、オプション バーの [編集] - [仮...