MySQL でストリーミングクエリを使用してデータ OOM を回避する

1. はじめに

プログラムがMySQLデータベースにアクセスするときに、クエリされるデータの量が特に大きい場合、データベースドライバーは読み込まれたすべてのデータをメモリにロードし、メモリオーバーフロー (OOM) が発生する可能性があります。

実際、 MySQLデータベースはストリーミングクエリを提供しており、これにより、修飾されたデータをバッチでメモリにロードできるため、OOM を効果的に回避できます。この記事では、主にストリーミングクエリの使用方法を紹介し、パフォーマンステストで通常のクエリと比較します。

2. JDBCはストリーミングクエリを実装する

ストリーミングクエリは、JDBC のPreparedStatement/StatementのsetFetchSizeメソッドをInteger.MIN_VALUEに設定するか、 Statement.enableStreamingResults()メソッドを使用することで実装できます。ResultSet.next ResultSet.next()メソッドが実行されると、データベース接続を通じて 1 つずつ返されるため、大量のクライアントメモリを占有することはありません。

パブリック int execute(String sql, boolean isStreamQuery) は SQLException をスローします {
 接続 conn = null;
 PreparedStatement stmt = null;
 結果セット rs = null;
 整数カウント = 0;
 試す {
  //データベース接続を取得します。conn = getConnection();
  if (isStreamQuery) {
   //ストリーミング クエリ パラメータを設定します。stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
   stmt.setFetchSize(Integer.MIN_VALUE);
  } それ以外 {
   //通常のクエリ stmt = conn.prepareStatement(sql);
  }

  //クエリを実行して結果を取得します。rs = stmt.executeQuery();
  // 結果を走査します while (rs.next ()) {
   System.out.println(rs.getString(1));
   カウント++;
  }
 } キャッチ (SQLException e) {
  e.printStackTrace();
 ついに
  閉じる(stmt、rs、conn);
 }
 カウントを返します。
}

「PS」: 上記の例では、パラメーターisStreamQuery使用して、次のテスト比較で「ストリーミングクエリ」と「通常のクエリ」を切り替えます。

3. パフォーマンステスト

テスト用にテストテーブルmy_testが作成されます。データの総量は27wです。テストには次の 4 つのテストケースが使用されます。

大容量データ一般クエリ（270,000件）
大容量データストリーミングクエリ（270,000レコード）
小容量データ一般クエリ（10件）
小容量データストリーミングクエリ（10項目）

3.1. 大容量データの一般クエリをテストする

@テスト
パブリック void testCommonBigData() は SQLException をスローします {
 文字列 sql = "select * from my_test";
 テスト実行(sql, false);
}

3.1.1. クエリ時間

27wのデータ量は38秒かかります

3.1.2. メモリ使用量

約1Gのメモリを使用

3.2. 大容量データストリーミングクエリのテスト

@テスト
パブリック void testStreamBigData() は SQLException をスローします {
 文字列 sql = "select * from my_test";
 テストを実行します(sql, true);
}

3.2.1. クエリ時間

27wのデータ量は37秒かかります

3.2.2. メモリ使用量

バッチで取得されるため、メモリは30〜270mの間で変動します。

3.3. 少量データに対する通常のクエリのテスト

@テスト
パブリック void testCommonSmallData() は SQLException をスローします {
 文字列 sql = "select * from my_test limit 100000, 10";
 テスト実行(sql, false);
}

3.3.1. クエリ時間

10個のデータには1秒かかります

3.4. 少量のデータでストリーミングクエリをテストする

@テスト
パブリック void testStreamSmallData() は SQLException をスローします {
 文字列 sql = "select * from my_test limit 100000, 10";
 テストを実行します(sql, true);
}

3.4.1. クエリ時間

10個のデータには1秒かかります

IV. 結論

MySQL ストリーミングクエリはメモリ使用量に明らかな最適化効果をもたらしますが、クエリ速度にはほとんど影響しません。主に、大量のデータをクエリするときにメモリ使用量が高くなるシナリオを解決するために使用されます。

「デモアドレス」: https://github.com/zlt2000/mysql-stream-query

これで、MySQL でストリーミングクエリを使用してデータ OOM を回避する方法に関するこの記事は終了です。MySQL ストリーミングクエリに関するより関連性の高いコンテンツについては、123WORDPRESS.COM で以前の記事を検索するか、次の関連記事を引き続き参照してください。今後とも 123WORDPRESS.COM をよろしくお願いいたします。

以下もご興味があるかもしれません: