MySQL でよく使用されるデータベースとテーブル シャーディング ソリューションの概要

MySQL でよく使用されるデータベースとテーブル シャーディング ソリューションの概要

1. データベースのボトルネック

IO ボトルネックであろうと CPU ボトルネックであろうと、最終的にはデータベースのアクティブ接続数が増加し、データベースが処理できるアクティブ接続数のしきい値に近づいたり、さらには到達したりします。ビジネス サービスの観点から見ると、利用可能なデータベース接続はほとんどないか、まったくありません。次に何が起こるかは想像がつきます (同時実行性、スループット、クラッシュ)。

1. IOボトルネック

最初のタイプ: ディスク読み取り IO ボトルネック。ホット データが多すぎるため、データベース キャッシュに保存できません。各クエリで大量の IO が生成され、クエリ速度が低下します -> シャーディングと垂直シャーディング。

2 番目のタイプ: ネットワーク IO ボトルネック、要求されるデータが多すぎる、ネットワーク帯域幅が不十分 -> シャーディング。

2. CPUボトルネック

1 つ目のタイプ: SQL の問題。たとえば、SQL に join、group by、order by、非インデックス フィールド条件クエリなどが含まれる場合、CPU 計算操作が増加します -> SQL の最適化、適切なインデックスの確立、ビジネス サービス レイヤーでのビジネス計算の実行など。

2 番目のタイプ: 単一テーブル内のデータ量が大きすぎるため、クエリ中にスキャンされる行数が多すぎて、SQL 効率が低く、CPU が最初のボトルネックになる -> 水平テーブル パーティション分割。

2. サブライブラリとサブテーブル

1. 水平データベース

概念:フィールドと特定の戦略 (ハッシュ、範囲など) に基づいて、1 つのデータベース内のデータを複数のデータベースに分割します。

結果:

  • 各ライブラリの構造は同じです。
  • 各データベースのデータは異なり、重複はありません。
  • すべてのライブラリを結合したものが完全なデータです。

シナリオ:システムの絶対的な同時実行性が増加し、テーブル シャーディングでは根本的な問題の解決が困難です。また、データベースを垂直にシャーディングするための明確な業務提携がありません。

分析:ライブラリが増えると、IO と CPU への負荷が飛躍的に軽減されます。

2. 横長テーブル

概念:フィールドと特定の戦略 (ハッシュ、範囲など) に基づいて、1 つのテーブル内のデータを複数のテーブルに分割します。

結果:

  • 各テーブルの構造は同じです。
  • 各テーブルのデータは異なり、共通部分はありません。
  • すべてのテーブルを結合したものが完全なデータです。

シナリオ:システムの絶対的な同時実行性は向上していませんが、単一テーブル内のデータ量が大きすぎるため、SQL の効率に影響し、CPU の負荷が増加してボトルネックになります。推奨: SQLクエリ最適化の原則の分析

分析:テーブル内のデータ量が削減され、単一のSQL実行の効率が高くなり、CPUへの負担が自然に軽減されます。

3. 垂直サブデータベース

概念:テーブルに基づいて、さまざまなビジネス属性に応じてさまざまなテーブルが異なるデータベースに分割されます。

結果:

  • 各ライブラリの構造は異なります。
  • 各データベースのデータも異なり、共通部分はありません。
  • すべてのライブラリを結合したものが完全なデータです。

シナリオ:システムの絶対的な同時実行性が向上し、個別のビジネス モジュールを抽象化できるようになりました。

分析:この時点で、基本的にサービスに変えることができます。

たとえば、ビジネスが発展するにつれて、公開されている構成テーブルや辞書テーブルが増えていきます。このとき、これらのテーブルを別のライブラリに分離したり、サービス化したりすることもできます。さらに、ビジネスが発展し、一連のビジネス モデルが開発されると、関連するテーブルを個別のデータベースに分離したり、サービスに変換したりすることもできます。

4. 縦型テーブル

概念:フィールドに基づき、フィールドのアクティビティに応じて、テーブル内のフィールドは異なるテーブル (メイン テーブルと拡張テーブル) に分割されます。

結果:

  • 各テーブルの構造は異なります。
  • 各テーブルのデータも異なります。一般的に、各テーブルのフィールドには少なくとも 1 つの交差する列 (通常は主キー) があり、これを使用してデータを関連付けます。
  • すべてのテーブルを結合したものが完全なデータです。

シナリオ:システムの絶対的な同時実行性は向上していません。テーブルにはレコードは多くありませんが、フィールドは多くあります。ホット データと非ホット データが一緒に保存されるため、1 行のデータに必要なストレージ スペースが大きくなります。その結果、データベース キャッシュ内のデータ行数が減少し、クエリ中にディスク データを読み取るときに大量のランダム読み取り IO が生成され、IO ボトルネックが発生します。

分析:リスト ページと詳細ページを使用して理解を深めることができます。垂直テーブル分割の原則は、ホット データ (冗長性があり、一緒にクエリされることが多いデータ) をメイン テーブルとしてまとめ、非ホット データを拡張テーブルとしてまとめることです。この方法では、より多くのホット データをキャッシュできるため、ランダム読み取り IO が削減されます。分割後、すべてのデータを取得するには、2 つのテーブルを結合してデータを取得する必要があります。

ただし、結合は CPU の負荷を増やすだけでなく、2 つのテーブルを結合してしまうため (1 つのデータベース インスタンス上に存在する必要があります)、結合は絶対に使用しないでください。関連データについては、ビジネス サービス レイヤーで作業し、メイン テーブルと拡張テーブルのデータを個別に取得し、関連フィールドを使用して関連付けることですべてのデータを取得する必要があります。

3. ライブラリとテーブルシャーディングツール

  • sharding-sphere: jar、以前は sharding-jdbc;
  • TDDL: jar、Taobao 分散データ レイヤー。
  • Mycat: ミドルウェア。

注意: 公式ウェブサイトとコミュニティを優先し、ツールの長所と短所を自分で調べてください。

4. データベースとテーブルを分割する手順

容量 (現在の容量と増加) に基づいてシャードまたはテーブルの数を評価 -> キーを選択 (均等に) -> テーブル シャーディング ルール (ハッシュまたは範囲など) -> 実行 (通常は二重書き込み) -> 容量拡張の問題 (データの移動を最小限に抑える)。

5. シャーディングの問題

1. 非パーティションキークエリの問題

水平データベースとテーブルシャーディングに基づく分割戦略は、一般的に使用されるハッシュ方式です。

パーティションキーに加えて、クエリの条件としてクライアント上にはパーティション以外のキーが1つだけあります。

マッピング方法

遺伝学的方法

注: 書き込み時に、図に示すように、user_id は遺伝的手法によって生成されます。例えば、x ビット遺伝子については、8 つのテーブルに分割すると、23=8 なので、x は 3 となり、3 ビット遺伝子となります。 user_id に基づいてクエリを実行する場合、モジュールは対応するサブライブラリまたはサブテーブルに直接ルーティングできます。

user_name に基づいてクエリを実行する場合は、まず user_name_code 生成関数を使用して user_name_code を生成し、次に係数を取得して対応するサブライブラリまたはサブテーブルにルーティングします。 ID 生成によく使用される Snowflake アルゴリズム。

パーティションキーに加えて、クライアントのクエリの条件として複数の非パーティションキーがあります。

マッピング方法

冗長化方式

注: order_id または buyer_id でクエリを実行する場合、クエリは db_o_buyer データベースにルーティングされます。seller_id でクエリを実行する場合、クエリは db_o_seller データベースにルーティングされます。ちょっと本末転倒な気がしますね!他に良い方法はあるでしょうか?テクノロジースタックを変更するのはどうでしょうか?

パーティションキーに加えて、バックグラウンドにはさまざまな非パーティションキーの組み合わせ条件クエリもあります。

NoSQLアプローチ

冗長化方式


2. パーティションキーなしのデータベース間およびテーブル間のページングクエリの問題

水平データベースとテーブルシャーディングに基づく分割戦略は、一般的に使用されるハッシュ方式です。

注: NoSQL メソッド (ES など) を使用して解決されました。

3. 容量拡張の問題

水平データベースとテーブルシャーディングに基づく分割戦略は、一般的に使用されるハッシュ方式です。

データベースの水平拡張(データベース方式からのアップグレード)

注: 拡張は指数関数的に行われます。

水平拡張テーブル(ダブルライト移行方式)

ステップ 1: (同期デュアル書き込み) アプリケーションの構成とコードを変更し、デュアル書き込みを追加してデプロイします。

ステップ 2: (同期デュアル書き込み) 古いデータベースの古いデータを新しいデータベースにコピーします。

ステップ 3: (同期デュアル書き込み) 古いデータベースに基づいて、新しいデータベース内の古いデータを検証します。

ステップ 4: (同期二重書き込み) アプリケーションの構成とコードを変更し、二重書き込みを削除してデプロイします。

注: 二重書き込みは一般的な解決策です。

6. サブライブラリとサブテーブルの概要

データベースとテーブルを分割するには、まずボトルネックがどこにあるかを把握し、それから合理的に分割する必要があります (データベースを分割するか、テーブルを分割するか? 水平に分割するか、垂直に分割するか? 何回分割するか?)。また、データベースとテーブルを分割する目的で分割することはできません。

キーの選択は非常に重要です。均等分割クエリと非パーティション キー クエリの両方を考慮する必要があります。

要件が満たされている限り、分割ルールは可能な限り単純にする必要があります。

よく使われるMySQLシャーディングソリューションの概要についてはこれで終わりです。MySQLシャーディングの詳細については、123WORDPRESS.COMの以前の記事を検索するか、以下の関連記事を引き続き参照してください。今後とも123WORDPRESS.COMをよろしくお願いいたします。

以下もご興味があるかもしれません:
  • MySQL シャーディング入門ガイド
  • 順序再構築に関する簡単な説明: MySQL シャーディング
  • MySQL シャーディングの詳細
  • MySQLデータベースシャーディングとテーブルシャーディングが完全に崩壊
  • MySQLデータベースとテーブルシャーディング後の主キー処理のいくつかの方法
  • SpringBoot+MybatisPlus+Mysql+Sharding-JDBC シャーディング
  • MySQLデータベースとテーブルを分割するいくつかの方法

<<:  CSSは解析プロセスでさまざまな読み込み効果を実装します

>>:  ブラウザのCSS、JavaScript、背景画像のキャッシュをクリアする簡単な方法

推薦する

Vueのキーボードイベントの詳細な説明

目次共通キーエイリアスエイリアスが指定されていないキーシステム修飾キーカスタムキーエイリアス要約する...

Linux環境でのshadowsocks+polipoグローバルプロキシの設定

1. シャドウソックスをインストールするsudo apt-get install python-pi...

JavaScript のスプレッド演算子とレスト演算子の違いの詳細な説明

目次レスト演算子とは何ですか? JavaScript 関数では REST 演算子はどのように機能しま...

8桁の割引コードをランダムに生成し、MySQLデータベースに保存します。

現在、多くの企業が割引コードを通じてプロモーションを行っています。今では、8桁の割引コードを実装して...

要素の$notifyポイントについての簡単な説明

当初の意図は、element-ui の $notify 通知をコンポーネントにカプセル化することでし...

CSS3 カウントダウン効果

成果を達成する実装コードhtml <div クラス = 'ラッパー'> ...

Vue双方向バインディングの詳細な説明

目次1. 双方向バインディング2. 他のタグを選択した場合にも同じ結果になりますか? 答えはもちろん...

Vue プラグイン エラー: このページで Vue.js が検出されました。問題は解決しました

Vue プラグインがエラーを報告しました: このページで Vue.js が検出されましたVueプラグ...

MySQLのスロークエリの詳細な説明

MySQL操作情報のクエリ show status -- すべての MySQL 操作情報を表示します...

JavaScript/TypeScript で同時リクエスト制御を実装するためのサンプルコード

シナリオリクエストが 10 件あるが、同時リクエストの最大数は 5 件で、リクエスト結果が必要である...

JS と Nodejs におけるイベント駆動型開発についての簡単な説明

目次イベント駆動型とパブリッシュ・サブスクライブ型ブラウザの JavaScript ではイベント駆動...

Lua モジュールを使用して WAF を実装する Nginx の原理の分析

目次1. WAFの背景2. WAFとは3. 動作原理4. WAF機能5. WAFと従来のファイアウォ...

ウェブサイト制作におけるオンライン広告の新しいインタラクティブ体験(グラフィックチュートリアル)

インターネット時代が成熟するにつれて、オンライン広告の発展も加速しています。圧倒的な広告収入と完璧な...

ネイティブ js でカスタム スクロール バーを実装する

この記事の例では、カスタムスクロールバーを実装するためのjsの具体的なコードを参考までに共有していま...