Docker を使用した ELK7.3.0 ログ収集サービスの導入に関するベスト プラクティス

# sysctl.conf 設定を変更する
vi /etc/sysctl.conf
# 次の設定を追加します。
vm.max_map_count=262144
# リロード:
sysctl -p
# 最後に、elasticsearch を再起動して正常に起動します。

# 依存ツールbash-completeをインストールします
yum インストール -y bash 補完
ソースは /usr/share/bash-completion/completions/docker です。
ソース /usr/share/bash-completion/bash_completion

mkdir -p }mnt/es1/master/data、/mnt/es1/master/logs}
vim /mnt/es1/master/conf/es-master.yml

# クラスター名 cluster.name: es-cluster
#ノード名node.name: es-master
# マスターノードになれるかどうかnode.master: true
# ノードがデータを保存できるようにするかどうか。デフォルトで有効です。node.data: false
# ネットワークバインディング network.host: 0.0.0.0
# 外部サービスのhttpポートを設定します http.port: 9200
# ノード間の通信用のTCPポートを設定します transport.port: 9300
# クラスター検出 discovery.seed_hosts:
 - 172.17.0.2:9300
 - 172.17.0.3:9301
# マスターノードになることができるすべてのノードの名前または IP アドレスを手動で指定します。これらの構成は最初の選出 cluster.initial_master_nodes で計算されます。
 - 172.17.0.2
# クロスドメインアクセスをサポートする http.cors.enabled: true
http.cors.allow-origin: "*"
# セキュリティ認証 xpack.security.enabled: false
#http.cors.allow-headers: 「認証」
bootstrap.memory_lock: 偽
bootstrap.system_call_filter: 偽

#クロスドメインの問題を解決する#http.cors.enabled: true
#http.cors.allow-origin: "*"
#http.cors.allow-methods: OPTIONS、HEAD、GET、POST、PUT、DELETE
#http.cors.allow-headers: "X-Requested-With、コンテンツ タイプ、コンテンツの長さ、X-User"

# イメージをプルします。コンテナを直接ビルドしてこの手順を無視することもできます。 docker pull elasticsearch:7.3.0

# コンテナをビルドする## 5601 を Kibanadocker 用に予約されたポートにマップする run -d -e ES_JAVA_OPTS="-Xms256m -Xmx256m" \
-p 9200:9200 -p 9300:9300 -p 5601:5601 \
-v /mnt/es1/master/conf/es-master.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mnt/es1/master/data:/usr/share/elasticsearch/data \
-v /mnt/es1/master/logs:/usr/share/elasticsearch/logs \
-v /etc/localtime:/etc/localtime \
--name es-master elasticsearch:7.3.0

mkdir -p }mnt/es1/slave1/data、/mnt/es1/slave1/logs}
vim /mnt/es1/slave1/conf/es-slave1.yml

# クラスター名 cluster.name: es-cluster
#ノード名node.name: es-slave1
# マスターノードになれるかどうかnode.master: true
# ノードがデータを保存できるようにするかどうか。デフォルトで有効です。node.data: true
# ネットワークバインディング network.host: 0.0.0.0
# 外部サービスのhttpポートを設定します http.port: 9201
# ノード間の通信用のTCPポートを設定します transport.port: 9301
# クラスター検出 discovery.seed_hosts:
 - 172.17.0.2:9300
 - 172.17.0.3:9301
# マスターノードになることができるすべてのノードの名前または IP アドレスを手動で指定します。これらの構成は最初の選出 cluster.initial_master_nodes で計算されます。
 - 172.17.0.2
# クロスドメインアクセスをサポートする http.cors.enabled: true
http.cors.allow-origin: "*"
# セキュリティ認証 xpack.security.enabled: false
#http.cors.allow-headers: 「認証」
bootstrap.memory_lock: 偽
bootstrap.system_call_filter: 偽

# イメージをプルします。コンテナを直接ビルドしてこの手順を無視することもできます。 docker pull elasticsearch:7.3.0

# コンテナをビルド docker run -d -e ES_JAVA_OPTS="-Xms256m -Xmx256m" \
-p 9201:9200 -p 9301:9300 \
-v /mnt/es1/slave1/conf/es-slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mnt/es1/slave1/data:/usr/share/elasticsearch/data \
-v /mnt/es1/slave1/logs:/usr/share/elasticsearch/logs \
-v /etc/localtime:/etc/localtime \
--name es-slave1 elasticsearch:7.3.0

# マスターコンテナとスレーブコンテナのIPを表示する
docker の es-master を検査する
docker で es-slave1 を検査する

docker es-master を再起動します

docker es-slave1 を再起動します。

# es ログを表示する docker logs -f --tail 100f es-master

vim /mnt/kibana.yml
#
## ** これは自動生成されたファイルです **
##
#
## docker ターゲットのデフォルトの Kibana 構成
サーバー名: kibana
# Kibana のリモート アクセス サーバーを設定します。ホスト: "0.0.0.0"
#es アクセス アドレス elasticsearch.hosts を設定します: [ "http://127.0.0.1:9200" ]
#中国語インターフェース i18n.locale: "zh-CN"

#xpack.monitoring.ui.container.elasticsearch.enabled: true

docker ps | grep es-master 

# イメージをプルします。コンテナを直接ビルドしてこの手順を無視することもできます。 docker pull docker.elastic.co/kibana/kibana:7.3.0

# コンテナをビルドする## --network=container はコンテナネットワークを共有することを意味します docker run -it -d \
kibana.yml を /usr/share/kibana/config/kibana.yml にコピーします。
-v /etc/localtime:/etc/localtime \
-e ELASTICSEARCH_URL=http://172.17.0.2:9200 \
--network=コンテナ:40eff5876ffd \
--name キバナ docker.elastic.co/kibana/kibana:7.3.0

docker ログ -f --tail 100f kibana 

入力{
  # ソースビート
  ビート {
    # ポート port => "5044"
  }
}
# 分析およびフィルタリングプラグイン、複数のフィルタが可能 {
  理解する {
	# grok 式が保存される場所 patterns_dir => "/grok"
	
	# grok 式の書き換え # match => {"message" => "%{SYSLOGBASE} %{DATA:message}"}
	
	# ネイティブメッセージフィールドを削除します overwrite => ["message"]

  # 独自のフォーマットマッチを定義する => {
		"メッセージ" => "%{URIPATH:request} %{IP:clientip} %{NUMBER:response:int} \"%{WORD:sources}\" (?:%{URI:referrer}|-) \[%{GREEDYDATA:agent}\] ​​\{%{GREEDYDATA:params}\}"
	}
  }
 # クエリ分類プラグイン geoip {
    ソース => "メッセージ"
  }
}
出力{
	# elasticsearchを選択
	エラスティックサーチ
		# es クラスターホスト => ["http://172.17.0.2:9200"]
      #ユーザー名 => "root"
      #パスワード => "123456"

		# インデックス形式 index => "omc-block-server-%{[@metadata][version]}-%{+YYYY.MM.dd}"

		# trueに設定すると、logstashというカスタムテンプレートがある場合、カスタムテンプレートがデフォルトのテンプレートlogstashを上書きすることを示します。
		テンプレート上書き => true
	}
}

# イメージをプルします。コンテナを直接ビルドしてこの手順を無視することもできます。docker pull logstash:7.3.1 

# コンテナをビルドします# xpack.monitoring.enabled は X-Pack のセキュリティと監視サービスをオンにします# xpack.monitoring.elasticsearch.hosts は ES アドレスを設定します。172.17.0.2 は es-master コンテナの IP です
# Docker では、コンテナの起動時にいくつかのコマンドを実行できます。logsatsh -f は、設定ファイルを指定して logstash を実行することを意味します。/usr/share/logstash/config/logstash-sample.conf は、コンテナ内のディレクトリ ファイルです。docker run -p 5044:5044 -d \
-v /mnt/logstash-filebeat.conf:/usr/share/logstash/config/logstash-sample.conf \
-v /etc/localtime:/etc/localtime \
-e elasticsearch.hosts=http://172.17.0.2:9200 \
-e xpack.monitoring.enabled=true \
-e xpack.monitoring.elasticsearch.hosts=http://172.17.0.2:9200 \
--name ログスタッシュ ログスタッシュ:7.3.1 -f /usr/share/ログスタッシュ/config/ログスタッシュ-sample.conf

入力{
  # ソースビート
  ビート {
    # ポート port => "5044"
  }
  ファイル {
    タイプ => "サーバーログ"
    パス => "/logs/*.log"
    start_position => "始まり"
    コーデック=>マルチライン{
        // 正規表現、プレフィックスが「20」のすべてのログ。ログに「[2020-06-15」のようなプレフィックスがある場合は、「^[」に置き換えることができます。
        パターン => "^20"
        // 通常のルールを否定するかどうか negate => true
        // previous は前の行にマージすることを意味し、next は次の行にマージすることを意味します what => "previous"
    }

  }
}

## /mnt/omc-dev/logs はアプリケーション ログ ディレクトリです。アプリケーション デプロイメント ディレクトリをマッピングする必要があります。mkdir -p {/mnt/omc-dev/logs,/mnt/filebeat/logs,/mnt/filebeat/data}
vim /mnt/filebeat/filebeat.yml

ファイルビート入力:
- タイプ: ログ
 有効: true
 パス:
  # 現在のディレクトリ内のすべての .log ファイル - /home/project/spring-boot-elasticsearch/logs/*.log
 複数行パターン: '^20'
 複数行否定: true
 複数行一致: 前

ログレベル: デバッグ

filebeat.config.モジュール:
 パス: ${path.config}/modules.d/*.yml
 リロードが有効: false

セットアップテンプレート設定:
 インデックスの破片の数: 1

セットアップダッシュボードが有効: false

セットアップ.kibana:
 ホスト: "http://172.17.0.2:5601"

# ESに直接転送されない
#出力.elasticsearch:
# ホスト: ["http://es-master:9200"]
# インデックス: "filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"

出力.logstash:
 ホスト: ["172.17.0.5:5044"]

#スキャン頻度: 1秒
クローズ_非アクティブ: 12時間
バックオフ: 1秒
最大バックオフ: 1秒
バックオフ係数: 1
フラッシュタイムアウト: 1秒

プロセッサ:
 - ホストメタデータを追加: ~
 - クラウドメタデータを追加: ~

# イメージをプルします。コンテナを直接ビルドしてこのステップを無視することもできます。docker pull docker.elastic.co/beats/filebeat:7.3.0

# コンテナをビルド## --link logstash 指定されたコンテナを現在の接続に接続します。ip メソッドによる動的な変更によりコンテナを接続できない状況を回避するためにエイリアスを設定できます。logstash はコンテナ名です。docker run -d -v /mnt/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /mnt/omc-dev/logs:/home/project/spring-boot-elasticsearch/logs \
-v /mnt/filebeat/logs:/usr/share/filebeat/logs \
ファイルビートデータ:/usr/share/ファイルビートデータ\
-v /etc/localtime:/etc/localtime \
--link logstash --name filebeat docker.elastic.co/beats/filebeat:7.3.0

docker ログ -f --tail 100f ファイルビート