インストール まず、Java と Scala をインストールし、次に Spark をダウンロードしてインストールし、PATH と JAVA_HOME が設定されていることを確認してから、Scala の SBT を使用して次のように Spark をビルドする必要があります。 $ sbt/sbt アセンブリ ビルド時間は比較的長くなります。ビルドが完了したら、次のコマンドを実行してインストールが成功したことを確認します。 $ ./bin/spark-shell scala> val textFile = sc.textFile("README.md") // README.md への参照を作成します scala> textFile.count // このファイルの行数をカウントします scala> textFile.first // 最初の行を出力します Apache アクセス ログ アナライザー まず、Scala を使用して Apache アクセス ログのアナライザーを作成する必要があります。幸いなことに、すでに誰かが作成しています。Apache ログファイル パーサー コードをダウンロードしてください。 SBT を使用してコンパイルおよびパッケージ化します。 sbt コンパイル sbt テスト sbt パッケージ パッケージ名は AlsApacheLogParser.jar であると想定されます。 // これは動作します $ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell Spark 0.9 では、いくつかのメソッドが機能しません。 // 動作しません $ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell // 動作しません spark> :cp AlsApacheLogParser.jar アップロードが成功したら、Spark REPL で AccessLogParser インスタンスを作成します。 com.alvinalexander.accesslogparser._ をインポートします。 val p = 新しい AccessLogParser これで、以前の readme.cmd を読むのと同じように、Apache アクセス ログ accesslog.small を読むことができます。 scala> val log = sc.textFile("accesslog.small") 14/03/09 11:25:23 INFO MemoryStore: curMem=0、maxMem=309225062 で EnsureFreeSpace(32856) が呼び出されました 14/03/09 11:25:23 INFO MemoryStore: ブロックbroadcast_0が値としてメモリに保存されました (推定サイズ 32.1 KB、空き容量 294.9 MB) ログ: org.apache.spark.rdd.RDD[String] = MappedRDD[1]、textFile、<console>:15 scala> log.count (ここには大量の出力があります) res0: ロング = 100000 Apache ログの分析 Apache ログに 404 がいくつあるかを分析できます。作成方法は次のとおりです。 def getStatusCode(行: Option[AccessLogRecord]) = { 行一致 { ケース Some(l) => l.httpStatusCode なしの場合 => "0" } } Option[AccessLogRecord]はアナライザーの戻り値です。 次に、Spark コマンドラインで次のように使用します。 log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count この統計は、httpStatusCode が 404 である行の数を返します。 さらに深く掘り下げる ここで、URL 内のスペースによって 404 エラーが発生するなど、どの URL に問題があるのかを知りたい場合は、当然次の手順が必要です。
次のメソッドを作成します。 // アクセスログレコードから `request` フィールドを取得します def getRequest(rawAccessLogString: String): オプション[String] = { val accessLogRecordOption = p.parseRecord(rawAccessLogString) accessLogRecordOption 一致 { ケース Some(rec) => Some(rec.request) ケースなし => なし } } このコードを Spark REPL に貼り付けて、次のコードを実行します。 log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).count val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)) val distinctiveRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct 個別のRecs.foreach(println) 要約する アクセス ログの単純な分析には、もちろん grep の方が適していますが、より複雑なクエリには Spark が必要です。単一のシステム上で Spark のパフォーマンスを判断するのは困難です。これは、Spark が大きなファイルを扱う分散システム向けに設計されているためです。 以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。 以下もご興味があるかもしれません:
|
>>: Mysql5.7.17 winx64.zip 解凍バージョンのインストールと設定のグラフィックチュートリアル
序文ほとんどのプロジェクトでは、PDF ファイルのオンライン プレビューに遭遇するでしょう。このプロ...
序文Linux では、スワップ パーティションとスワップ ファイルの 2 種類のスワップ領域を作成で...
はじめに<br />誰もが高速インターネット接続にアクセスできるわけではありません。たと...
開発中、MySQL へのリモートアクセスでよく問題に遭遇します。そのたびに検索する必要があり、面倒に...
凡例コンポーネントは、ECharts でよく使用されるコンポーネントです。シリーズ マーカーの名前を...
用語: 1. VM: 仮想マシンステップ: 1. Windows 10 に VirtualBox 6...
注: MySQL5.7 で root パスワードをクラックするには、パスワード認証をスキップしてデー...
この記事の例では、カウントダウン効果を実現するためのJavaScriptの具体的なコードを参考までに...
目次序文紹介-公式設定例序文vueCli を使用してプロジェクトを開発したことのある方は、少しがっか...
1. CSSの記述形式1. インラインスタイルCSSコードを開始タグに直接記述することができます&l...
最近、関連テーブル内のすべてのフィールドをクエリし、それらを 1 つのフィールドに再グループ化する必...
次のような疑問が湧くかもしれません。MySQLをローカル (自分のコンピュータ) にインストールした...
MySQL エラー:エラー コード: 1293 テーブル定義が正しくありません。CURRENT_T...
よく食べて十分に休息を取るというのは簡単なことのように思えますが、実際に実行するのはそれほど簡単では...
1. オブジェクト指向のクラス継承これまでの章では、JavaScript のオブジェクト モデルがプ...