Docker ベースの ELK を素早く構築する方法

[概要] この記事では、自作の Docker プラットフォームをベースに完全な ELK システムを素早く構築します。関連するイメージは Docker Hub から直接取得され、ログの収集、分析、取得を素早く実現できます。

画像の準備

ES イメージを取得します: docker pull elasticsearch:latest
Kibana イメージを取得します: docker pull kibana:latest
logstash イメージを取得します: docker pull logstash:latest

Elasticsearchを起動する

公式イメージの ES 構成ファイルは /usr/share/elasticsearch/config に保存されます。必要に応じて、このディレクトリをホストマシンにマップできます。データファイルディレクトリは /usr/share/elasticsearch/data です。ここでは、データディレクトリをマップします。コンテナーは、API 対話用にデフォルトでポート 9200 を提供します。

docker run --name elasticsearch \
-v "$PWD/esdata":/usr/share/elasticsearch/data \
-p 9200:9200 \
-d エラスティックサーチ

コンテナが起動したら、それを呼び出して確認できます。

Kibanaを起動する

Kibana は ES 操作の UI として ES コンテナと通信する必要があるため、ここで ES コンテナをリンクし、ページの操作用にポート 5601 を提供する必要があります。

docker run --name kibana \
--link elasticsearch:elasticsearch \
-p 5601:5601 \
-d キバナ

コンテナが起動したら、ブラウザを使用してポート 5601 にアクセスし、kibana ページを表示します。初めてアクセスすると、デフォルトのインデックスが作成されていないというメッセージが表示される場合があります。ここでは、管理ページでデフォルトのインデックスを作成する必要があります。デフォルトのインデックスは通常、logstash-* と呼ばれます。次の図に示すように、デフォルトのインデックスを作成します。

Logstashを起動する

Logstash の主な機能はログを収集することです。このコンポーネントには多くのプラグインがあり、TCP、UDP、JDBC、ファイル、キューなど、ほとんどのログ統合方法をサポートできます。設定は非常にシンプルで、起動方法も非常に簡単です。ここでは、nginx のアクセスログを例に、logstash が nginx の access.log を読み取り、ログを Elasticsearch に転送するように設定します。

まず、logstash 構成ファイル logstash.conf をコンパイルします。内容は次のようになります。

入力{
 
   ファイル{
 
      パス=>"/tmp/nginx/logs/access.log"
 
   }
 
}出力{
 
   stdout{ } #コンソールにログ出力 #esに出力
 
   エラスティックサーチ
 
      ホスト=>"100.100.x.231"
 
   }
 
}

コンテナを起動します。ここでは、nginx ログを /tmp/nginx/logs/access.log に配置します。コンテナがこのログを読み取るには、ログディレクトリをコンテナにマップする必要があります。

docker run –it –rm -v /tmp/nginx/logs/access.log:/tmp/nginx/logs/access.log -f /config-dir/logstash.conf

次に、ログの収集と表示のプロセス全体をテストします。まず、nginx でアクセスログをいくつか作成します。たとえば、curl を使用して nginx サービスポートを直接呼び出したり、データを access.log に直接書き込んだりします。この時点で、logstash コンテナに次のログ出力が表示されます。

その後、Kibana ページを開いて、リアルタイムで書き込まれたログデータを確認します。

要約する

Docker コンテナを使用すると、ELK の構築が非常に簡単になります。ELK を使用すると、ログをすばやく分析して取得し、問題を見つけることができます。ELK のコアコントリビューター数名が Elastic という会社を設立し、現在当社と協力関係にあります。オープンソースに基づいて、同社は X-Pack という商用製品もリリースしており、機械学習、グラフアルゴリズム、セキュリティテクノロジーの多くの機能強化を提供しています。興味のある学生は自分でそれについて学ぶことができます。