MySQLからElasticsearchにデータを同期する方法の詳細な説明

cd /logstash-6.4.2/bin
./logstash-plugin をインストールしてlogstash-input-jdbc

t_employee から * を選択

ログスタッシュ-6.4.2
# 設定ファイルの構文が正しいかどうかを確認します bin/logstash -f config/jdbc.conf --config.test_and_exit
# bin/logstash を起動 -f config/jdbc.conf --config.reload.automatic

タコを入れる
タコ/_searchを取得する

ROW: 変更されたデータの各行を記録しますが、ログのボリュームが大きすぎます。STATEMENT: データを変更する各 SQL ステートメントを記録します。これにより、ログのボリュームが削減されますが、関数またはトリガーを使用すると、SQL ステートメントでマスターとスレーブの不整合が発生しやすくなります。MIXED: ROW と STATEMENT の利点を組み合わせ、データ操作を実行する特定の SQL ステートメントに応じて、ROW または STATEMENT を使用してログを記録することを選択します。

タイムスタンプを 1527917394/*!*/ に設定します。
    始める
    //*!*/;
    # 3751 で
    #180602 13:29:54 サーバー ID 1 end_log_pos 3819 CRC32 0x8dabdf01 Table_map: `webservice`.`building` が番号 74 にマップされました
    # 3819 で
    #180602 13:29:54 サーバー ID 1 end_log_pos 3949 CRC32 0x59a8ed85 Update_rows: テーブル ID 74 フラグ: STMT_END_F
    
    バイナリログ'
    翻訳:
    ｗACAAQAAAAHfq40=
    UisSWx8BAAAAggAAAG0PAAAAAEoAAAAAAAEAAgAG///A1gcAAAAAAAAALYnVpbGRpbmctMTAADwB3
    ウクRNbjNLYlV5d1k3ajVbD64WWw+uFsDWBwAAAAAAAAAtidWlsZGluZy0xMAEPAHdSRE1uM0tiVXl3
    WTdqNVsPrhZbD64Whe2oWQ==
    '/*!*/;
    ### `webservice`.`building` を更新します
    ＃＃＃どこ
    ### @1=2006 /* LONGINT meta=0 nullable=0 is_null=0 */
    ### @2='building-10' /* VARSTRING(192) meta=192 nullable=0 is_null=0 */
    ### @3=0 /* TINYINT メタ=0 nullable=0 is_null=0 */
    ### @4='wRDMn3KbUywY7j5' /* VARSTRING(384) meta=384 nullable=0 is_null=0 */
    ### @5=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    ### @6=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    ＃＃＃ セット
    ### @1=2006 /* LONGINT meta=0 nullable=0 is_null=0 */
    ### @2='building-10' /* VARSTRING(192) meta=192 nullable=0 is_null=0 */
    ### @3=1 /* TINYINT メタ=0 nullable=0 is_null=0 */
    ### @4='wRDMn3KbUywY7j5' /* VARSTRING(384) meta=384 nullable=0 is_null=0 */
    ### @5=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    ### @6=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    # 3949 で
    #180602 13:29:54 サーバー ID 1 end_log_pos 3980 CRC32 0x58226b8f Xid = 182
    専念 /*！*/;

タイムスタンプを 1527919329/*!*/ に設定します。
    ビルディングセットを更新 Status=1、Id=2000
    //*!*/;
    # 688 で
    #180602 14:02:09 サーバー ID 1 end_log_pos 719 CRC32 0x4c550a7d Xid = 200
    専念 /*！*/;

# binlog を表示 modemysql> show variables like "%binlog_format%";
 
# binlog mode を変更します。mysql> set global binlog_format='ROW';
 
# binlog が有効になっているかどうかを確認します。mysql> show variables like 'log_bin';
 
# バイナリログを有効にする
my.cnfファイルlog-bin = mysql-binを変更します。

# goをインストールする
sudo apt-get をインストールして実行します
 
# godepをインストールする
github.com/tools/godep にアクセスしてください
 
# go-mysql-elasticsearch プラグインを取得する go get github.com/siddontang/go-mysql-elasticsearch
 
# go-mysql-elasticsearch プラグインをインストールします cd go/src/github.com/siddontang/go-mysql-elasticsearch
作る

# MySQL アドレス、ユーザー名、パスワード
# ユーザーは MySQL でレプリケーション権限を持っている必要があります。
my_addr = "127.0.0.1:3306" # 同期する必要がある基本的なmysql設定 my_user = "root"
my_pass = "ルート"
 
# Elasticsearch アドレス
es_addr = "127.0.0.1:9200" # ローカル elasticsearch 設定 # master.info などのデータを保存し、MySQL データをダンプするパス 
data_dir = "./var" # データ保存URL
# 以下の設定はデフォルトとして保存されます# 内部 HTTP ステータス アドレス
stat_addr = "127.0.0.1:12800"
 
# スレーブのような疑似サーバー ID 
サーバーID = 1001
 
#mysql または mariadb
フレーバー = "mysql"
#mysqldump 実行パス
mysqldump = "mysqldump"
 
#MySQL データソース
[[ソース]]
schema = "test" //elasticsearch が mysql と同期される場合の対応するデータベース名 # 以下のテーブルのみが Elasticsearch に同期されます。
# テスト データベース内の複数のテーブルを同期します。テーブル パーティション メカニズムを使用する一部のプロジェクトでは、ワイルドカードを使用して一致させることができます。たとえば、t_[0-9]{4} はテーブル t_0000 から t_9999 まで一致させることができます。
テーブル = ["t", "t_[0-9]{4}", "tfield", "tfilter"]  
 
# 以下は特別なルールマッピングです
# テーブルの場合、そのデータを同期する ES インデックスのタイプを指定する必要があります。指定されていない場合は、デフォルトでスキーマ#名をESインデックスとタイプとして使用します。
[[ルール]]
schema = "test" //データベース名table = "t" //テーブル名index = "test" //対応するインデックス名type = "t" //対応するタイプ名# t_[0-9]{4}の形式を満たすすべてのテーブルを、インデックスtestとタイプtのESに同期します。もちろん、これらのテーブルでは、# スキーマが一貫していることを確認する必要があります [[rule]]
スキーマ = "テスト"
テーブル = "t_[0-9]{4}"
インデックス = "テスト"
タイプ = "t"
 
# テーブル tfilter では、id 列と name 列のみを同期し、他の列は同期しません。filter = ["id", "name"]
# テーブル tfield の列 id は es_id にマップされ、タグは es_tags にマップされます
# list このフィールドは、対応する列データを ES 配列型に変換する必要があることを明示的に示します。これは現在、MySQL の varchar # やその他の型でよく使用されています。「a, b, c」のようなデータを保存し、ES に同期するときに [a, b, c] のようなリスト形式に変換したい場合があります。
 
[ルールフィールド]
# 列 `id` を ES フィールド `es_id` にマップします
id="es_id"
# 列 `tags` を配列型の ES フィールド `es_tags` にマップします 
tags="es_tags,リスト"
# 列 `keywords` を配列型で ES にマップする
キーワード=",リスト"

cd go/src/github.com/siddontang/go-mysql-elasticsearch
bin/go-mysql-elasticsearch -config=./etc/river.toml

[root@autofelix /]# vi /etc/profile
エクスポート JDBC_IMPORTER_HOME=/elasticsearch-jdbc-2.3.2.0

[root@autofelix /]# ソース /etc/profile

[root@autofelix /]# ll /odbc_es/
drwxr-xr-x 2 ルート ルート 4096 6月16日 03:11 ログ
-rwxrwxrwx 1 ルート ルート 542 6月16日 04:03 mysql_import_es.sh

[root@autofelix odbc_es]# cat mysql_import_es.sh
'#!/bin/sh
bin=$JDBC_IMPORTER_HOME/bin
lib=$JDBC_IMPORTER_HOME/lib
エコー '{
「タイプ」:「jdbc」、
"jdbc": {
"elasticsearch.autodiscover":true、
"elasticsearch.cluster":"my-application", #クラスター名、参照: /usr/local/elasticsearch/config/elasticsearch.yml
"url":"jdbc:mysql://10.8.5.101:3306/test", #mysql データベース アドレス "user":"root", #mysql ユーザー名 "password":"123456", #mysql パスワード "sql":"select * from cc",
「エラスティックサーチ」: {
  「ホスト」:「10.8.5.101」、
  「ポート」: 9300
},
"index" : "myindex", #新しいインデックス
"type" : "mytype" #新しいタイプ
}
}'| java \
  -cp "${lib}/*" \
  -Dlog4j.configurationFile=${bin}/log4j2.xml \
  org.xbib.tools.ランナー \
  org.xbib.tools.JDBCインポーター

[root@autofelix odbc_es]# chmod a+x mysql_import_es.sh

[root@autofelix odbc_es]# ./mysql_import_es.sh