Spark と Scala を使用して Apache アクセス ログを分析する方法

Spark と Scala を使用して Apache アクセス ログを分析する方法

インストール

まず、Java と Scala をインストールし、次に Spark をダウンロードしてインストールし、PATH と JAVA_HOME が設定されていることを確認してから、Scala の SBT を使用して次のように Spark をビルドする必要があります。

$ sbt/sbt アセンブリ

ビルド時間は比較的長くなります。ビルドが完了したら、次のコマンドを実行してインストールが成功したことを確認します。

$ ./bin/spark-shell
scala> val textFile = sc.textFile("README.md") // README.md への参照を作成します scala> textFile.count // このファイルの行数をカウントします scala> textFile.first // 最初の行を出力します

Apache アクセス ログ アナライザー

まず、Scala を使用して Apache アクセス ログのアナライザーを作成する必要があります。幸いなことに、すでに誰かが作成しています。Apache ログファイル パーサー コードをダウンロードしてください。 SBT を使用してコンパイルおよびパッケージ化します。

sbt コンパイル
sbt テスト
sbt パッケージ

パッケージ名は AlsApacheLogParser.jar であると想定されます。
次に、Linux コマンドラインで Spark を起動します。

// これは動作します
$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell

Spark 0.9 では、いくつかのメソッドが機能しません。

// 動作しません
$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell
// 動作しません
spark> :cp AlsApacheLogParser.jar

アップロードが成功したら、Spark REPL で AccessLogParser インスタンスを作成します。

com.alvinalexander.accesslogparser._ をインポートします。
val p = 新しい AccessLogParser

これで、以前の readme.cmd を読むのと同じように、Apache アクセス ログ accesslog.small を読むことができます。

scala> val log = sc.textFile("accesslog.small")
14/03/09 11:25:23 INFO MemoryStore: curMem=0、maxMem=309225062 で EnsureFreeSpace(32856) が呼び出されました
14/03/09 11:25:23 INFO MemoryStore: ブロックbroadcast_0が値としてメモリに保存されました (推定サイズ 32.1 KB、空き容量 294.9 MB)
ログ: org.apache.spark.rdd.RDD[String] = MappedRDD[1]、textFile、<console>:15
scala> log.count
(ここには大量の出力があります)
res0: ロング = 100000

Apache ログの分析

Apache ログに 404 がいくつあるかを分析できます。作成方法は次のとおりです。

def getStatusCode(行: Option[AccessLogRecord]) = {
 行一致 {
  ケース Some(l) => l.httpStatusCode
  なしの場合 => "0"
 }
}

Option[AccessLogRecord]はアナライザーの戻り値です。

次に、Spark コマンドラインで次のように使用します。

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count

この統計は、httpStatusCode が 404 である行の数を返します。

さらに深く掘り下げる

ここで、URL 内のスペースによって 404 エラーが発生するなど、どの URL に問題があるのか​​を知りたい場合は、当然次の手順が必要です。

  1. すべての404レコードを除外する
  2. 各 404 レコードからリクエスト フィールドを取得します (アナライザーによって要求された URL 文字列にスペースが含まれているかどうかなど)
  3. 重複レコードを返さない

次のメソッドを作成します。

// アクセスログレコードから `request` フィールドを取得します
def getRequest(rawAccessLogString: String): オプション[String] = {
 val accessLogRecordOption = p.parseRecord(rawAccessLogString)
 accessLogRecordOption 一致 {
  ケース Some(rec) => Some(rec.request)
  ケースなし => なし
 }
}

このコードを Spark REPL に貼り付けて、次のコードを実行します。

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).count
val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_))
val distinctiveRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct
個別のRecs.foreach(println)

要約する

アクセス ログの単純な分析には、もちろん grep の方が適していますが、より複雑なクエリには Spark が必要です。単一のシステム上で Spark のパフォーマンスを判断するのは困難です。これは、Spark が大きなファイルを扱う分散システム向けに設計されているためです。

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • 2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?
  • Apache Spark 2.0ジョブは完了するまでに長い時間がかかります

<<:  koa2 サービスに SSL を設定する方法

>>:  Mysql5.7.17 winx64.zip 解凍バージョンのインストールと設定のグラフィックチュートリアル

推薦する

Centos7.3 で mysql5.7.18 をインストールして初期パスワードを変更する方法

この記事では、Centos7.3でのmysql5.7.18のインストールと初期パスワードの変更につい...

HTML/CSSにおける記号論の詳細な説明

この記事では、ソシュールの言語哲学などの理論に基づいて、CSS の class 属性は不要であると主...

Tomcatでcatalina.batがUTF-8に設定されている場合、コンソールに文字化けした文字が表示されます

1. catalina.bat は UTF-8 に設定する必要があります。UTF-8 に設定しないと...

IDEA の Docker プラグインを介して SpringBoot プロジェクトをデプロイするプロセスの詳細な説明

1. Dockerリモート接続ポートを設定するサーバー上の docker.service ファイルを...

Vueはログインジャンプを実装する

この記事では、ログインジャンプを実装するためのVueの具体的なコードを例として紹介します。具体的な内...

Linuxでスワップパーティションファイルを作成する方法

スワップの紹介Linux のスワップ (スワップ パーティション) は、Windows の仮想メモリ...

Windows システムの MySQL が中国語を入力および表示できない問題の解決方法

ステップ 1: メモ帳を使用して、MySQL インストール ディレクトリの「my.ini」ファイルを...

Nginx の負荷分散と動的および静的分離の原理と構成

目次1. Nginxは負荷分散の原則を実装する2. Nginxの動的および静的分離の原則Nginx ...

vue.js を使用してドラッグ アンド ドロップ機能を実装する方法

序文ドラッグ アンド ドロップ機能を追加すると、プログラムがより自然でユーザーフレンドリーになります...

MYSQL 文字関数を使用してデータをフィルタリングすることに関する質問

問題の説明:構造:テストには2つのフィールドがあります。これらは col1 と col2 で、どちら...

Windows 版 MySQL のインストール、起動、基本設定に関する詳細なグラフィック チュートリアル

ダウンロード:ステップ 1: ウェブサイトを開きます (ダウンロードするには公式ウェブサイトにアクセ...

MySQLが数十億のトラフィックをサポートする方法

目次1 マスター・スレーブの読み取り・書き込み分離1.1 コア2 マスタースレーブレプリケーション2...

mysql 5.7.23 winx64 解凍バージョンのインストールチュートリアル

参考までに、mysql-5.7.23-winx64 解凍版の詳細なインストールチュートリアルです。具...

Dockerfile を使用して Java ランタイム環境のミラーを作成する方法

現在の環境は次のとおりです。セントロス7.5 docker-ce 18.06.1-ce 1. まずc...

.html、.htm、.shtml、.shtm の違いと関連性について簡単に説明します。

ご存知のとおり、私たちが毎日閲覧する Web ページ、Web サイト、または Web ページには独自...