Spark と Scala を使用して Apache アクセス ログを分析する方法

Spark と Scala を使用して Apache アクセス ログを分析する方法

インストール

まず、Java と Scala をインストールし、次に Spark をダウンロードしてインストールし、PATH と JAVA_HOME が設定されていることを確認してから、Scala の SBT を使用して次のように Spark をビルドする必要があります。

$ sbt/sbt アセンブリ

ビルド時間は比較的長くなります。ビルドが完了したら、次のコマンドを実行してインストールが成功したことを確認します。

$ ./bin/spark-shell
scala> val textFile = sc.textFile("README.md") // README.md への参照を作成します scala> textFile.count // このファイルの行数をカウントします scala> textFile.first // 最初の行を出力します

Apache アクセス ログ アナライザー

まず、Scala を使用して Apache アクセス ログのアナライザーを作成する必要があります。幸いなことに、すでに誰かが作成しています。Apache ログファイル パーサー コードをダウンロードしてください。 SBT を使用してコンパイルおよびパッケージ化します。

sbt コンパイル
sbt テスト
sbt パッケージ

パッケージ名は AlsApacheLogParser.jar であると想定されます。
次に、Linux コマンドラインで Spark を起動します。

// これは動作します
$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell

Spark 0.9 では、いくつかのメソッドが機能しません。

// 動作しません
$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell
// 動作しません
spark> :cp AlsApacheLogParser.jar

アップロードが成功したら、Spark REPL で AccessLogParser インスタンスを作成します。

com.alvinalexander.accesslogparser._ をインポートします。
val p = 新しい AccessLogParser

これで、以前の readme.cmd を読むのと同じように、Apache アクセス ログ accesslog.small を読むことができます。

scala> val log = sc.textFile("accesslog.small")
14/03/09 11:25:23 INFO MemoryStore: curMem=0、maxMem=309225062 で EnsureFreeSpace(32856) が呼び出されました
14/03/09 11:25:23 INFO MemoryStore: ブロックbroadcast_0が値としてメモリに保存されました (推定サイズ 32.1 KB、空き容量 294.9 MB)
ログ: org.apache.spark.rdd.RDD[String] = MappedRDD[1]、textFile、<console>:15
scala> log.count
(ここには大量の出力があります)
res0: ロング = 100000

Apache ログの分析

Apache ログに 404 がいくつあるかを分析できます。作成方法は次のとおりです。

def getStatusCode(行: Option[AccessLogRecord]) = {
 行一致 {
  ケース Some(l) => l.httpStatusCode
  なしの場合 => "0"
 }
}

Option[AccessLogRecord]はアナライザーの戻り値です。

次に、Spark コマンドラインで次のように使用します。

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count

この統計は、httpStatusCode が 404 である行の数を返します。

さらに深く掘り下げる

ここで、URL 内のスペースによって 404 エラーが発生するなど、どの URL に問題があるのか​​を知りたい場合は、当然次の手順が必要です。

  1. すべての404レコードを除外する
  2. 各 404 レコードからリクエスト フィールドを取得します (アナライザーによって要求された URL 文字列にスペースが含まれているかどうかなど)
  3. 重複レコードを返さない

次のメソッドを作成します。

// アクセスログレコードから `request` フィールドを取得します
def getRequest(rawAccessLogString: String): オプション[String] = {
 val accessLogRecordOption = p.parseRecord(rawAccessLogString)
 accessLogRecordOption 一致 {
  ケース Some(rec) => Some(rec.request)
  ケースなし => なし
 }
}

このコードを Spark REPL に貼り付けて、次のコードを実行します。

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).count
val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_))
val distinctiveRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct
個別のRecs.foreach(println)

要約する

アクセス ログの単純な分析には、もちろん grep の方が適していますが、より複雑なクエリには Spark が必要です。単一のシステム上で Spark のパフォーマンスを判断するのは困難です。これは、Spark が大きなファイルを扱う分散システム向けに設計されているためです。

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • 2018 年にリリースされる Apache Spark 2.4 の新機能は何ですか?
  • Apache Spark 2.0ジョブは完了するまでに長い時間がかかります

<<:  koa2 サービスに SSL を設定する方法

>>:  Mysql5.7.17 winx64.zip 解凍バージョンのインストールと設定のグラフィックチュートリアル

推薦する

Vue-pdfはPDFファイルのオンラインプレビューを実装します

序文ほとんどのプロジェクトでは、PDF ファイルのオンライン プレビューに遭遇するでしょう。このプロ...

Linux でスワップ領域を確認する 5 つのコマンドの概要

序文Linux では、スワップ パーティションとスワップ ファイルの 2 種類のスワップ領域を作成で...

ウェブページの読み込み速度を上げる25の方法とヒント

はじめに<br />誰もが高速インターネット接続にアクセスできるわけではありません。たと...

Linux プラットフォームの MySQL でリモート ログインを有効にする

開発中、MySQL へのリモートアクセスでよく問題に遭遇します。そのたびに検索する必要があり、面倒に...

Echarts 凡例コンポーネントのプロパティとソース コード

凡例コンポーネントは、ECharts でよく使用されるコンポーネントです。シリーズ マーカーの名前を...

VirtualBox で作成された Debian 仮想マシンは Windows ホストとファイルを共有します

用語: 1. VM: 仮想マシンステップ: 1. Windows 10 に VirtualBox 6...

MySQL 5.7 および 8.0 データベースのルート パスワードを忘れた場合の解決策

注: MySQL5.7 で root パスワードをクラックするには、パスワード認証をスキップしてデー...

シンプルなカウントダウン効果を実現するJavaScript

この記事の例では、カウントダウン効果を実現するためのJavaScriptの具体的なコードを参考までに...

vue cli で env を使用するガイド

目次序文紹介-公式設定例序文vueCli を使用してプロジェクトを開発したことのある方は、少しがっか...

CSSの記述形式、モバイルページの基本構造の詳細な説明

1. CSSの記述形式1. インラインスタイルCSSコードを開始タグに直接記述することができます&l...

フィールドを結合するSQL関数

最近、関連テーブル内のすべてのフィールドをクエリし、それらを 1 つのフィールドに再グループ化する必...

MySQLデータファイルの保存場所を表示する方法

次のような疑問が湧くかもしれません。MySQLをローカル (自分のコンピュータ) にインストールした...

MySQL バージョンは、2 つのタイムスタンプ型の値をサポートしていないバージョンよりも低いです。

MySQL エラー:エラー コード: 1293 テーブル定義が正しくありません。CURRENT_T...

MySQL マルチテーブルクエリの詳細な説明

よく食べて十分に休息を取るというのは簡単なことのように思えますが、実際に実行するのはそれほど簡単では...

JavaScript オブジェクト指向クラス継承ケースの説明

1. オブジェクト指向のクラス継承これまでの章では、JavaScript のオブジェクト モデルがプ...