MySQL データベース内の数十億のデータを素早くクリーンアップする方法

MySQL データベース内の数十億のデータを素早くクリーンアップする方法

今日、ディスクアラーム例外を受け取りました。50G ディスクが爆発しました。分析と解決のプロセスは次のとおりです。

1. Linuxサーバーに入り、mysqlフォルダ内の各データベースが占有するディスク容量を確認します。

olderdb だけで 25G を占有していることに気付きましたか?

2. SQLyogを使用してMySQLデータベースにログインし、データベース内の各テーブルが占有するスペースを確認します。

SELECT CONCAT(テーブルスキーマ,'.',テーブル名) AS 'aaa',  
  table_rows AS '行数'、  
  CONCAT(ROUND(データ長/(1024*1024*1024),6),' G') AS 'データサイズ',  
  CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'インデックスサイズ',  
  CONCAT(ROUND((データ長+インデックス長)/(1024*1024*1024),6),' G') AS'合計' 
information_schema.TABLES から  
WHERE table_schema LIKE 'olderdb';

3. 主キーインデックスをクエリする

軌道からのインデックスを表示

戦略を採用する

前提条件: 現在、データの80%を削除する必要があります

① 削除文

delete ステートメントの削除速度はインデックスの数に比例することがわかっています。このテーブルのインデックスの数はすでに非常に多く、データ量も非常に大きいため、従来の delete ステートメントを使用して削除すると、間違いなく数日かかります。

Delete ステートメントで削除してもディスク領域は解放されず、必ずアラームが表示されるため、この方法はお勧めできません。

② ドロップテーブル

同じ構造を持つ新しいテーブルを作成し、「cc」という名前を付け、このテーブルに保存するデータを挿入してから、古いテーブルを削除します。

SQL ステートメントは次のとおりです。

古いテーブルに基づいて新しいテーブルを作成する

テーブルcc LIKE orbitを作成します。

データを挿入する(数百万のデータをバッチで挿入する必要があります。一度に 300,000 ~ 400,000 が最適で、結局のところ、MySQL のデータ処理能力には限界があります)

日付によるクエリと挿入(毎日約 300,000 のデータ ポイントが生成されるため、日付の挿入が使用されます)

cc に INSERT INTO SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

結果は次のとおりです。

50万件以上のデータを処理するのに5分もかからず、比較的高速であることがわかります。

クリーニング後、データテーブルスペースが解放されます

それから古いテーブルを捨てる

ドロップテーブル軌道

たった3秒ほどかかりました。

新しいテーブルの名前を「cc」に変更します

ALTER TABLE cc を orbit に変更する

要約する

上記は、MySQL データベース内の数十億のデータをすばやくクリーンアップする方法の紹介です。お役に立てば幸いです。ご質問がある場合は、メッセージを残してください。すぐに返信いたします。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • 数十億のデータに対するMySQLページングの最適化に関する簡単な説明
  • パーティショニングを使用して数十億のデータに対する MySQL データ処理を最適化する方法

<<:  JavaScriptの擬似配列と配列の使い方と違い

>>:  Linux で Nginx 1.16.0 をインストールするための詳細なチュートリアル

推薦する

ウェブページのCSSの優先順位について詳しく説明します

CSS の優先順位について話す前に、CSS とは何か、CSS が何に使用されるのかを理解する必要があ...

クラスタrpmを使用してMySQLをインストールするための詳細な手順

MySQLデータベースをインストールするa) MySQL ソースインストールパッケージをダウンロード...

Flash での HTML と CSS の適用

Flash での HTML と CSS の適用:同僚の Den が Flash で HTML と C...

MySQLクエリのパフォーマンスを分析する方法

目次スロークエリの基礎: データ取得の最適化データベースから不要なデータが要求されていないか確認する...

Linux で ARM 開発ボード用のファイルシステムを作成する

1. Busyboxのソースコードをオンラインでダウンロードしてください。コンパイル方法については、...

Vue で Alibaba のアイコンフォント ベクター アイコンを使用する方法について

インターネット上には多くのインポート方法があり、公式も3つのインポート方法を提供していますが、インポ...

react+reduxを使用してカウンター機能を実装すると発生する問題

Redux はシンプルな状態マネージャーです。その歴史をたどることはしません。使用法の観点から見ると...

IE をフリーズさせる HTML コード

任意のテキスト エディターを開き、次のコードをコピーして、たとえば SomeFilename.htm...

CSSの2つの特別な値は、カスケードの継承と初期メソッドを制御するために使用されます。

カスケードを制御するために CSS の任意のプロパティに割り当てることができる特別な値が 2 つあり...

Vueはログインジャンプを実装する

この記事では、ログインジャンプを実装するためのVueの具体的なコードを例として紹介します。具体的な内...

1 行のコードでさまざまな IE 互換性の問題を解決します (IE6-IE10)

x-ua-compatible は、IE ブラウザがページを解析およびコンパイルするためのモデルを...

iostat を使用して Linux ハードディスクの IO パフォーマンスを表示する方法

TOP 観察: IO 待機に占められる CPU 時間の割合。30% を超えると、IO の負荷が高くな...

docker+gitlab+gitlab-runnerの詳細なデプロイメント

環境サーバー: centos7クライアント: ウィンドウCentos7 に docker+gitla...

Vue3 の使用 (パート 1) Vue CLI プロジェクトの作成

目次1. 公式ドキュメント2. Vue CLIプロジェクトを作成する1. Vue CLIをインストー...

tomcat ログ ディレクトリ内のログ ファイルの分析 (概要)

tomcat が起動されるたびに、次のログ ファイルがログ ディレクトリに自動的に生成され、日付順...