MySQL をベースにしたシンプルな検索エンジンを実装する

MySQL ベースの検索エンジンの実装

序文：

実際、MySQL は長い間フルテキストインデックスをサポートしてきましたが、サポートされていたのは英語の検索のみでした。バージョン 5.7.6 以降、MySQL には中国語、日本語、韓国語の単語分割をサポートする ngram フルテキストパーサーが組み込まれています。

Mysql フルテキストインデックスは、転置インデックスの原理を採用しています。転置インデックスでは、キーワードが主キーとなり、各キーワードはキーワードが出現する一連のファイルに対応します。このように、ユーザーがキーワードを検索すると、ソートプログラムは逆インデックス内でキーワードを見つけ、そのキーワードを含むすべてのファイルをすぐに見つけることができます。

この記事はMySQL 8.0に基づいてテストされており、データベースエンジンはInnoDBを使用しています。

1. ngram全文パーサー

ngram は、テキスト内の n 個の連続した単語のシーケンスです。 ngram フルテキストパーサーは、各単語が n 個の連続した単語のシーケンスであるテキストをトークン化できます。たとえば、ngram フルテキストパーサーを使用して「你好靓仔」をセグメント化します。

n=1: 「あなた」、「いい人」、「かわいい」、「男の子」 
n=2: 「こんにちは」、「とてもかわいい」、「ハンサムな男の子」 
n=3: 「あなたはとてもきれいですね」、「あなたはとてもきれいですね」 
n=4: 「こんにちは、ハンサムな男の子」

MySQL では、グローバル変数ngram_token_sizeを使用して、ngram 内の n のサイズを設定します。値の範囲は 1 ～ 10 で、デフォルト値は 2 です。通常、 ngram_token_sizeクエリされる単語の最小数に設定されます。単語のみを検索する必要がある場合は、 ngram_token_sizeを 1 に設定します。デフォルト値 2 の場合、単語 1 つを検索しても結果は返されません。中国語の単語は少なくとも 2 つの文字で構成されているため、デフォルト値の 2 が推奨されます。

次のコマンドを実行すると、MySQL のデフォルトのngram_token_size表示できます。

'ngram_token_size' のような変数を表示する

グローバル変数ngram_token_sizeの値を設定するには、次の 2 つの方法があります。

（1）mysqldコマンドを起動するときに、以下を指定します。

mysqld --ngram_token_size=2

（2）MySQL設定ファイルmy.iniを変更し、最後にパラメータの行を追加します。

nグラムトークンサイズ=2

2. 全文インデックスを作成する

1. テーブルを構築するときにフルテキストインデックスを作成する

テーブル「記事」を作成します（
  `id` bigint NOT NULL、
  `url` varchar(1024) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  `title` varchar(256) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  `source` varchar(32) COLLATE utf8mb4_general_ci DEFAULT ''
  `keywords` varchar(32) COLLATE utf8mb4_general_ci デフォルト NULL,
  `publish_time` タイムスタンプ NULL デフォルト NULL、
  主キー (`id`)、
  フルテキストキー `title_index` (`title`) とパーサー `ngram`
） 

エンジン=InnoDB デフォルト文字セット=utf8mb4 照合=utf8mb4_general_ci;

2. テーブル変更方法

ALTER TABLE article に FULLTEXT INDEX title_index(title) を追加し、PARSER ngram を追加します。

3. インデックス作成メソッドを通じて

PARSER ngram を使用して article (title) に FULLTEXT インデックス title_index を作成します。

3. 検索方法

1. 自然言語検索（自然言語モード）

自然言語モードは、MySQL のデフォルトの全文検索モードです。自然言語モードでは演算子を使用できず、キーワードが表示される必要がある、または表示されない必要があるなどの複雑なクエリを指定することはできません。

例：

select * from article where MATCH(title) AGAINST ('北京観光' IN NATURAL LANGUAGE MODE);

// モードが指定されていない場合は、デフォルトで自然言語モードが使用されます select * from article where MATCH(title) AGAINST ('北京旅游');

このモードでは、「北京旅行」を検索すると、自然言語に基づいて 2 つのキーワードに分割されるため、「北京」または「旅行」を含むコンテンツを検索できることがわかります。

上記の例では、返される結果は一致度によって自動的にソートされ、最も一致度が高いものが先頭に表示されます。一致度は、負でない浮動小数点数です。

例：

// 一致度を確認します。select *、MATCH(title) AGAINST ('Beijing Tourism') as score from article where MATCH(title) AGAINST ('Beijing Tourism' IN NATURAL LANGUAGE MODE);

2. ブール検索（ブールモード）

ブール検索モードでは、演算子を使用して、キーワードが表示される必要があるか表示されない必要があるか、キーワードの重みが高いか低いかを指定するなどの複雑なクエリをサポートできます。

例：

// 演算子なし // 「デート」または「戦略」を含む
select * from article where MATCH(title) AGAINST ('Dating Guide' IN BOOLEAN MODE);

// 演算子を使用する // 「デート」を含める必要がありますが、「戦略」を含めることができます
select * from article where MATCH(title) AGAINST ('+Dating Guide' IN BOOLEAN MODE);

その他の演算子の例:

「デートのヒント」 
演算子なし、OR を意味し、「デート」または「戦略」のいずれかを含む

「+デート+戦略」
「+デートのヒント」という単語の両方を含める必要があります
「デート」が含まれている必要がありますが、「戦略」も含まれている場合は一致率が高くなります。

「+デート戦略」
「日付」を含める必要があり、「戦略」を含めることはできません。

「+デート〜戦略」
「デート」は必ず含める必要がありますが、「戦略」も含めると、一致スコアは「戦略」なしの記録よりも低くなります。

'+デート+(>戦略<ヒント)'
クエリには、「デート」と「戦略」または「デート」と「スキル」のレコードが含まれている必要がありますが、「デート戦略」は「デートスキル」よりも一致率が高くなります。

「デート*」
クエリには、「Appointment」で始まるレコードが含まれます。

「デートのヒント」
検索する単語を二重引用符で囲みます。効果は「%Dating Guide%」のようになります。
たとえば、「初心者向けのデート戦略」は一致しますが、「デート戦略」は一致しません。

4. 類似品との比較

同様のクエリと比較して、フルテキストインデックスには次の利点があります。

LIKE はあいまい一致のみを実行しますが、フルテキストインデックスはいくつかの文法および意味クエリ機能を提供し、MySQL ボキャブラリによって決定される検索対象の文字列に対して単語分割操作を実行します。
全文インデックスでは、単語の最小長と最大長、および無視する単語を設定できます。これらはすべて設定可能です。
フルテキストインデックスを使用して列内の文字列を検索すると、一致するキーワードの数として理解できる一致度が返され、これは浮動小数点数です。

全文検索のパフォーマンスは類似クエリよりも優れています

以下は約50wのデータに基づいたテストです。

// クエリのように select * from article where title like '%北京%';

// フルテキスト インデックス クエリ select * from article where MATCH(title) AGAINST ('北京' IN BOOLEAN MODE);

類似クエリは 1.536 秒、全文インデックスクエリは 0.094 秒と、約 16 倍高速であることがわかります。

全文インデックスを使用すると高速な検索が可能になりますが、インデックスを維持するためのオーバーヘッドも発生します。フィールドの長さが長くなるほど、作成されるフルテキストインデックスが大きくなり、DML ステートメントのスループットに影響します。データ量が多くない場合は、フルテキストインデックスを使用して検索できます。これは簡単で便利です。ただし、データ量が多い場合は、専用の検索エンジン ElasticSearch を使用して検索することをお勧めします。

以上がMySQLをベースにした簡単な検索エンジンの実装の詳細です。MySQLを使った検索エンジンの実装の詳細については、123WORDPRESS.COMの他の関連記事をご覧ください。今後とも123WORDPRESS.COMをよろしくお願いいたします！

以下もご興味があるかもしれません: