Docker ベースの ELK ログ システムを構築する方法

Docker ベースの ELK ログ システムを構築する方法

背景要件:

ビジネスがどんどん大きくなると、サーバーの数も増え、さまざまなアクセスログ、アプリケーションログ、エラーログの量も増えていきます。その結果、運用・保守担当者はログをうまく管理できなくなっています。開発者は、問題をトラブルシューティングするためにサーバー上のログを確認する必要があり、運用担当者にとっては不便です。データが必要な場合は、ログを分析するためにサーバーを運用・保守する必要があります。

ELKの紹介:

ここに画像の説明を挿入

ELK は、Elasticsearch、Logstash、Kibana という 3 つのオープンソース ソフトウェアの略称です。これらはすべてオープンソース ソフトウェアです。 現在、元の ELK Stack は、Beats ツールの追加により Elastic Stack に名前が変更されています。 Beatsはリソースをほとんど消費しない軽量なログ収集・処理ツール(エージェント)で、各種サーバーのログを収集してLogstashに送信するのに適しています。公式もこのツールを推奨しています。

ここに画像の説明を挿入

構築手順:

上記の説明を読めば、このプラットフォームを構築するには少なくとも 3/4 のソフトウェアが必要であることが誰でも少しは理解できるはずです (Filebeat は必須ではありません)。

  • キバナはディスプレイに使用されます
  • 検索用の elasticsearch
  • フィルタリングにはlogstashが使用される
  • Filebeatはログを収集するために使用されます

この記事では、すでに Docker 環境があり、Docker の基本的な使用経験があることを前提としています。

イメージをプルします (統合バージョンでは多くの落とし穴を回避できます):

docker pull キバナ:6.8.2
docker pull elasticsearch:6.8.2
docker pull mobz/elasticsearch-head:5 # es 用のプラグイン docker pull logstash:6.8.2
docker pull docker.elastic.co/beats/filebeat:6.8.2 # 非常に遅い場合は、プロキシを設定するか、dockerイメージソースを変更してみてください。

Linux で Docker プロキシを設定するには、ClashX を使用して URL をサブスクライブし、Docker をプロキシに接続します。デスクトップをお持ちの場合は直接変更できます。デスクトップをお持ちでない場合は設定ファイルを作成して変更することができます。⇒ポータル

ここに画像の説明を挿入

また、遅延を回避するために Docker にさらに多くのメモリを割り当てます。

ES をビルド:

docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch -e "discovery.type=single-node" elasticsearch:6.8.2

ブラウザアクセス(curlでもOK):localhost:9200。以下の結果が表示されれば起動成功です。

ここに画像の説明を挿入

エラーが発生した場合は、エラーログを確認してください。

ES-HEAD を作成します。

docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

もう一度 localhost:9100 にアクセスすると、次の結果が表示されます。

ここに画像の説明を挿入

es ではクロスドメインが有効になっていないため、es-head で es に接続できない可能性があります。es コンテナに入り、構成ファイルの下にある elasticsearch.yml を見つけます。このファイルに次の内容を追加します。

http.cors.enabled: 有効
http.cors.allow-origin: "*"

その後、es を再起動すると、es-head は es に接続できるようになります。

Kibana を開きます:

docker run -d -p 5601:5601 --link elasticsearch -e ELASTICSEARCH_URL=http://elasticsearch:9200 kibana:6.8.2

ここでは http://elasticsearch:9200 です。変更しないでください。以前は、--link を使用して elasticsearch IP アドレスを kibana コンテナの hosts ファイルに追加し、定義された名前を通じて es サービスに直接アクセスできるようにしていました。
コンテナが正常に起動すると、es-head に次の情報が表示されます。

ここに画像の説明を挿入

localhost:5601 にアクセスすると、次のようになります。

ここに画像の説明を挿入

これまでのところ、kibana は正常に実行されており、es も実行されています。次のステップは、ログ サービスを収集することです。

Filebeat と logstash をビルドします。

まず、この 2 つの兄弟にはいくつかの設定ファイルが必要です。これらの 2 つの設定ファイルを同じフォルダーに保存します。

mkdir elktest # メインディレクトリ、つまり ~/elktest パス cd elktest
ファイルbeat.yml をタッチする
logstash.conf をタッチする

プロフィールを追加する

vim ファイルビート.yml
ファイルビートプロスペクター:
- パス:
    - /home/elk/logs/user/a.log
  複数行:
      パターン: ^\d{4}
      否定: 真
      一致: 後
  フィールド:
    ドキュメントタイプ: ユーザー
- パス:
    - /home/elk/logs/service/a.log
  複数行:
      パターン: ^\d{4}
      否定: 真
      一致: 後
  フィールド:
    ドキュメントタイプ: サービス
output.logstash: # 出力アドレス ホスト: ["logstash:5044"]
vim ログスタッシュ.conf
入力{
  ビート {
    ポート => "5044"
  }
}
フィルター {
  json {
    ソース => "メッセージ"
  }
}

出力{
  stdout { コーデック => ruby​​debug }
  エラスティックサーチ
        ホスト => [ "elasticsearch:9200" ]
        インデックス => "%{[fields][doc_type]}-%{+YYYY.MM.dd}"
    }
}

まだ elktest ディレクトリにいるはずです。ログ ソースがないため、このビデオでは手動でログを作成し、ログ フォルダーを作成します。

mkdir ログディレクトリ

自分でログをいくつか作成し、好きなように記述します。ファイル名とフォルダ名は変更しないでください。これらはすでに構成ファイルにマッピングされています。ビルドが完了すると、ディレクトリ構造は次のようになります。

ここに画像の説明を挿入

コンテナを作成します。

docker run -it --name logstash --link elasticsearch -d -p 5044:5044 -v ~/elktest/logstash.conf:/usr/share/logstash/pipeline/logstash.conf logstash:6.8.2

docker run --name filebeat --link logstash -d -v ~/elktest/filebeat.yml:/usr/share/filebeat/filebeat.yml -v ~/elktest/logdir/user/:/home/elk/logs/user/ -v ~/elktest/logdir/service/:/home/elk/logs/service/ docker.elastic.co/beats/filebeat:6.8.2

この時点で、es-head は次のようになります。

ここに画像の説明を挿入

そうでない場合は、コンテナが実行中かどうか、エラーログがあるかどうかを確認できます。また、logstash コンテナ内の elasticsearch に ping を実行し、filebeat コンテナ内の logstash に ping を実行して、パスに問題がないか確認することもできます。

Kibana の表示: インデックスの作成:

ここに画像の説明を挿入

作成が完了したら、確認して、表示するフィールドを追加します。内容はメッセージ内にあります (これは a.log の内容です)。

ここに画像の説明を挿入

今のところ、ヘラジカは完成しました。うまく作った友達は、夕食にチキンドラムスティックを食べてもいいですよ! ! ! !

以上がDockerをベースにELKログシステムを構築する方法の詳細な内容です。DockerでELKログシステムを構築する方法の詳細については、123WORDPRESS.COMの他の関連記事に注目してください。

以下もご興味があるかもしれません:
  • Docker を使用して ELK ログ システムを構築する例
  • Docker を使用して ELK 環境を迅速にデプロイする方法の詳細な説明 (最新バージョン 5.5.1)
  • ELK を使用して Docker コンテナ化されたアプリケーション ログ センターを構築する方法の詳細な説明
  • Docker が ELK Docker クラスター ログ収集システムを構築

<<:  CSSでプロセスナビゲーション効果を実現する(3つの方法)

>>:  Tudou.com フロントエンドの概要

推薦する

IE ラベル LI テキスト折り返し問題について

私は長い間この問題に悩まされていましたが、検索してみたところ、実際にこの問題を解決した人がいることが...

HTML の相対パスと絶対パスの違いの分析

HTML 初心者は、ファイルを正しく参照する方法という問題によく遭遇します。たとえば、HTML ペー...

Navicat 経由で MySQL にリモート接続する方法

Navicat を使用して IP 経由で直接接続すると、次のようなさまざまなエラーが報告されます: ...

JavaScript スクリプトが実行されるタイミングの詳細な説明

JavaScript スクリプトは HTML 内のどこにでも埋め込むことができますが、いつ呼び出され...

html、xhtml、xmlの違い

開発動向: html (ハイパーテキスト マークアップ言語) - xhtml (拡張ハイパーテキスト...

mysql5.5.28 のインストール チュートリアルは非常に詳細です。

参考までにmysql5.5.28のインストールチュートリアルです。具体的な内容は次のとおりです。イン...

Nginx 7層負荷分散のいくつかのスケジューリングアルゴリズムの簡単な理解

この記事は主に、Nginx 7 層負荷分散のいくつかのスケジューリング アルゴリズムを紹介します。こ...

プロキシはVue3データの双方向バインディングの原理を実現します

目次1. proxy と Object.defineProperty の利点2. プロキシ監視オブジ...

Dockerアーキテクチャ入門

Docker には 3 つの基本概念が含まれています。イメージ: Docker イメージはルート フ...

mysql スケジュールタスク (イベント イベント) の詳細な説明

1. イベントの簡単な紹介イベントは、MySQL が特定の時間に呼び出す手続き型データベース オブジ...

ウェブページでメモの詳細が灰色になる問題に対処する

1. IE では、相対的な配置、つまり <div style="background...

MySQL でスロークエリログ機能を有効にする方法

MySQL スロー クエリ ログは、問題のあるクエリを追跡するのに非常に役立ちます。現在のプログラム...

Linuxの一般ユーザー向けスケジュールタスクの詳細な説明

序文通常のユーザーはcrontabスケジュールタスクを定義します。たとえば、Oracleユーザーはス...

Linux システムを起動時に自動的にスクリプトを実行するように設定する方法の例

序文みなさんこんにちは。私は梁旭です。職場では、システムの起動後にスクリプトやサービスを自動的に開始...