MySQL で数千万のテストデータを含むテストデータベースを作成する方法

MySQL で数千万のテストデータを含むテストデータベースを作成する方法

場合によっては、MySQL が公式に提供しているテスト ライブラリに基づいてテスト データを作成し、数十万、数百万、数千万のデータを挿入する必要があります。これは、いくつかの関数とストアド プロシージャを使用して行われます。

公式テストライブラリのアドレス: https://github.com/datacharmer/test_db

公式データベースをインポートし、いくつかの簡略化を行って、部門テーブル、従業員テーブル、雇用テーブルの 3 つのテーブルを残し、外部キーの関連付けを削除しました。テストデータのため、日付間の対応は正確ではありません。

必要な機能

ランダムな文字列を生成する

RAND(): 0から1の間の乱数を生成します

FLOOR: 下向きの整数 (FLOOR(1.2)=1)

CEILINGは切り上げます(CEILING(1.2)=2)

部分文字列: 切片文字列

concat: 文字列の連結

CREATE DEFINER=`root`@`localhost` FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1
始める
	chars_str varchar(100) を DEFAULT 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz' として宣言します。
  return_str varchar(255) DEFAULT '' を宣言します。
  i INT DEFAULT 0 を宣言します。
  i < n ながら
    return_str = concat(return_str、substring(chars_str、FLOOR(1 + RAND()*62)、1));を設定します。
    i = i +1 を設定します。
  終了しながら;
  戻り値 return_str;
終わり

すべてのカスタム関数を表示

機能ステータスを表示

テスト使用:

rand_string(5)を選択します。

ランダムな年、月、日の文字列を生成する

指定された期間内にランダムな日付を生成します

選択
	日付(
	from_unixtime( unix_timestamp( '2000-01-01' ) + floor( rand() * ( unix_timestamp( '2020-12-31' ) - unix_timestamp( '2000-01-01' ) + 1 ) ) ));

機能: 指定された期間内にランダムな日付を生成する

CREATE DEFINER=`root`@`localhost` FUNCTION `rand_date_string`(startDate varchar(255),endDate varchar(255)) 戻り値 varchar(255) CHARSET latin1
始める
  return_str varchar(255) DEFAULT '' を宣言します。
	
	 SET return_str =日付(
		from_unixtime( unix_timestamp( 開始日 ) 
				+ floor( rand() * ( unix_timestamp( 終了日 ) - unix_timestamp( 開始日 ) + 1 ) ) 
			)
	 );
  
  戻り値 return_str;
終わり

テスト使用:

rand_date_string('2000-01-01','2020-12-31') を選択します。
//結果 2001-09-10

ストアドプロシージャはデータを生成する

各部門に 100 万人の従業員が挿入されると、従業員テーブルには 900 万件のレコードが含まれることになります。

CREATE DEFINER=`root`@`localhost` PROCEDURE `data`()
始める
	
	i INT DEFAULT 1 を宣言します。
	j INT DEFAULT 0 を宣言します。
	id INT DEFAULT 0 を宣言します。
	10歳未満
			j < 1000000 の場合
				employees_m (従業員番号、生年月日、名、姓、性別、入社日) VALUES( に挿入します。
					id、rand_date_string('1970-01-01'、'1997-01-01')、rand_string(5)、rand_string(5)、'M'、NOW());
				
				dept_emp_m (emp_no,dept_no,from_date,to_date) の値に挿入します(
					 id、連結('d00'、i)、rand_date_string('1990-01-01'、'2020-12-31')、'2020-12-31');
					 
			j=j+1 を設定します。  
			id=id+1を設定します。  
			終了しながら;
	j = 0 に設定します。
	i=i+1 を設定します。   
	終了しながら;

終わり

900 万件のレコードを挿入するのにかかるおおよその時間: 4868 秒

上記のデータ挿入方法は非常に遅くなります。メモリテーブルにデータを挿入することができます。つまり、テーブルのストレージエンジンを MEMORY に変更します。この方法では、メモリを使用してデータを保存するため、INNODB エンジンを使用してテーブルに直接挿入するよりもはるかに高速になります。永続性がないだけですが、速度は非常に高速です。1,000 万のデータを挿入するのに約 1227.89 秒かかります。

付録

テーブルストレージエンジンを変更する

ALTER TABLE dept_emp_m ENGINE=MEMORY;

メモリテーブルのサイズを調整し、構成ファイルを変更します

[mysqld]
最大ヒープテーブルサイズ = 2048M
tmp_table_size = 2048M

以上がMySQLで数千万のテストデータを含むテストライブラリを作成する方法の詳細です。MySQLで数千万のテストデータの詳細については、123WORDPRESS.COMの他の関連記事に注目してください。

以下もご興味があるかもしれません:
  • MySQLループは数千万のデータを挿入する
  • 数千万のMySQLデータ量を素早くページ分割する方法
  • MySQL で大量のデータ (数千万) を素早く削除するためのいくつかの実用的なソリューションの詳細な説明
  • MySQL 数千万のビッグデータに対するSQLクエリ最適化の知識ポイントのまとめ
  • MySql クイック挿入数千万の大規模データの例
  • MySQLで数千万のテストデータを素早く作成する方法
  • 数百万件のレコードの分散ストレージを実現するための MySQL シャーディングのバッチ クエリ設計パターンの詳細な説明
  • MySQL 百万レベルのページング最適化 (MySQL 千万レベルの高速ページング)
  • 数千万のデータを含む MySQL テーブルを最適化するにはどうすればよいでしょうか?
  • Mysqlの制限を最適化し、100万から1000万までの高速ページングの複合インデックスを参照し、軽量フレームワークに適用します。

<<:  docker実行時に異なるポートを占有する2つのポートを起動する問題を解決する

>>:  シンプルな HTML ビデオ プレーヤーを実装する方法

推薦する

MySQLの数値型自動増分における落とし穴

テーブル構造を設計する場合、数値型は最も一般的な型の 1 つですが、数値型をうまく使用するのは想像す...

Ubuntu 18.04 のすべての Python ライブラリを一度にアップグレードする方法

ピップとは何かpip は、Python パッケージの検索、ダウンロード、インストール、アンインストー...

Vue で SVG アイコンを導入する 2 つの方法

Vue で SVG アイコンを導入する方法Vue で svg アイコンを導入する方法 1インストール...

VMware は Centos7 システムの PXE+kickstart 無人インストールの詳細なプロセスを実装します

目次PXEはサーバーの無人バッチ展開を実装します1. PXEの概要1.1 PXEとは何か1.2 キッ...

React+tsは二次リンク効果を実現します

この記事では、二次リンク効果を実現するためのReact+tsの具体的なコードを参考までに共有します。...

MySQL マスタースレーブレプリケーションのいくつかのレプリケーション方法の概要

非同期レプリケーションMySQL レプリケーションは、デフォルトでは非同期です。マスター スレーブ ...

Vue3 スロットの使用状況の概要

目次1. Vスロットの紹介2. 匿名スロット3. 名前付きスロット4. スコープ付きスロット5. 動...

Vue はボタンをクリックしてファイルをダウンロードする操作コードを実装します (バックエンド Java)

前回の記事では、ボタンをクリックしてファイルをダウンロードするVueの機能を紹介しました。今日は、ボ...

Vue3.0 ルーティング自動インポート方法の例

1. 前提条件インポートには require.context メソッドを使用します。vite で作成...

Vue での mixin の応用について議論する

Mixin は、再利用可能な機能を Vue コンポーネント間で分散する非常に柔軟な方法を提供します。...

CSS3はリストの無限スクロール/カルーセル効果を実現します

効果プレビューアイデア現在のリストを最後の項目までスクロールし、すぐに最初の項目に戻ります。問題1....

MySQL kill コマンドの使用ガイド

KILL [接続 | クエリ] processlist_id MySQL では、各接続は個別のスレ...

Linux ファイルを分割するための split コマンドの詳細な説明

いくつかの簡単な Linux コマンドを使用すると、ストレージまたは電子メールの添付ファイルのサイズ...

MySQLデータ遅延ジャンプの問題の解決策

今日は、データベース遅延ジャンプに関する別の典型的な問題を分析しました。このプロセスでは、参考のため...