Hadoopカウンターとデータクリーニングの適用

Hadoopカウンターとデータクリーニングの適用

データクリーニング (ETL)

コアビジネスの MapReduce プログラムを実行する前に、まずデータをクリーンアップして、ユーザーの要件を満たさないデータを削除する必要があることがよくあります。クリーンアップ プロセスでは、多くの場合、Reduce プログラムではなく Mapper プログラムの実行のみが必要になります。

1.必要

フィールドの長さが 11 以下のログを削除します。

(1)入力データ

ウェブログ

(2)期待出力データ

各行フィールドの長さが11より大きい

2.需要分析

入力データは、マップ ステージのルールに従ってフィルタリングおよびクリーンアップする必要があります。

3.実装コード

(1)LogMapperクラスを書く

パッケージ com.atguigu.mapreduce.weblog;
java.io.IOException をインポートします。
org.apache.hadoop.io.LongWritable をインポートします。
org.apache.hadoop.io.NullWritable をインポートします。
org.apache.hadoop.io.Text をインポートします。
org.apache.hadoop.mapreduce.Mapper をインポートします。
パブリッククラス LogMapper は Mapper<LongWritable, Text, Text, NullWritable> を拡張します{
  テキスト k = 新しいテキスト();
  @オーバーライド
  protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   // 1 1行のデータを取得します。String line = value.toString();
   // 2 ログを解析する boolean result = parseLog(line,context);
   // 3 ログが不正なので終了 if (!result) {
     戻る;
   }
   // 4 キーを設定する
   k.set(行);
   // 5 データを書き込む context.write(k, NullWritable.get());
  }
  // 2 ログを解析する private boolean parseLog(String line, Context context) {
   // 1 インターセプト String[] fields = line.split(" ");
   // 長さが11より大きい2つのログは有効です if (fields.length > 11) {
     // システムカウンター context.getCounter("map", "true").increment(1);
     true を返します。
   }それ以外 {
     context.getCounter("map", "false").increment(1);
     false を返します。
   }
  }
}

(2)LogDriverクラスを書く

パッケージ com.atguigu.mapreduce.weblog;
org.apache.hadoop.conf.Configuration をインポートします。
org.apache.hadoop.fs.Path をインポートします。
org.apache.hadoop.io.NullWritable をインポートします。
org.apache.hadoop.io.Text をインポートします。
org.apache.hadoop.mapreduce.Job をインポートします。
org.apache.hadoop.mapreduce.lib.input.FileInputFormat をインポートします。
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat をインポートします。
パブリッククラスLogDriver {
  パブリック静的void main(String[] args)は例外をスローします{
// 入力パスと出力パスは、コンピューターの実際の入力パスと出力パスに従って設定する必要があります args = new String[] { "e:/input/inputlog", "e:/output1" };
   // 1 ジョブ情報を取得する Configuration conf = new Configuration();
   ジョブ job = Job.getInstance(conf);
   // 2 jar パッケージをロードします job.setJarByClass(LogDriver.class);
   // 3 つの関連マップ
   ジョブを LogMapper.class に設定します。
   // 4 最終出力タイプを設定する job.setOutputKeyClass(Text.class);
   ジョブの出力値クラスを設定します(NullWritable.class)。
   // 削減タスクの数を0に設定する
   ジョブのタスク数を減らす(0)
   // 5 入力パスと出力パスを設定する FileInputFormat.setInputPaths(job, new Path(args[0]));
   FileOutputFormat.setOutputPath(ジョブ、新しいパス(args[1]));
   // 6 送信 job.waitForCompletion(true);
  }
}

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。

以下もご興味があるかもしれません:
  • Hadoop ネームノード フェデレーション
  • Hadoop 2.Xの新機能、ごみ箱機能の説明
  • Ubuntu 16.4 で完全に分散された Hadoop 環境を構築するための実践的なチュートリアル
  • Hadoop 2.x と 3.x の 22 ポイントの比較、Hadoop 3.x の 2.x に対する改善点
  • Ubuntu DockerでHadoopクラスタ環境を構築する方法
  • CentOS で Hadoop を構築する詳細な手順
  • Hadoop ワードカウントのサンプルコード
  • Java/Web が MapReduce 用に Hadoop を呼び出すサンプル コード
  • Hadoop におけるネームノードとセカンダリネームノードの動作メカニズムの説明

<<:  MySQL エラー: ロックを取得しようとしたときにデッドロックが見つかりました。トランザクションの解決策を再起動してください

>>:  JSX を使用してマークアップ コンポーネント スタイルの開発を作成する例 (フロントエンドのコンポーネント化)

推薦する

Dockerデータストレージのバインドマウントの詳細な説明

この記事を読む前に、Volumes について予備知識を身に付けておいてください。詳細については、こち...

Linuxで現在のスクリプトの実際のパスを取得する方法

1. 現在のスクリプトの実際のパスを取得します。 #!/bin/bash if [[ $0 =~ ^...

HTML テーブル マークアップ チュートリアル (15): テーブル タイトル

<br />このタグを使用すると、表のタイトルを直接追加し、タイトル テキストの配置プロ...

柔軟で安定した高品質の HTML および CSS コード標準を作成するためのガイド

黄金律常に同じコーディング標準セットに従ってください。同じプロジェクトに何人の人が関わっているかに関...

MySql テーブル内の行を削除する実用的な方法

まず、どのフィールドまたはフィールドの組み合わせがデータ行を一意に識別できるかを決定する必要がありま...

JavaScriptの基本構文とデータ型の詳細な説明

目次JavaScript のインポート1. 内部ラベル2. 外部紹介基本的な構文データ型番号弦ブール...

Vue シングルページ SEO の 4 つのソリューションについての簡単な説明

目次1.Nuxtサーバーサイドレンダリングアプリケーションの展開(SSRサーバーレンダリング)利点:...

Ubuntu Linuxシステムをインストールするときにハードディスクをパーティション分割する最も合理的な方法の詳細な説明

Windows または Linux オペレーティング システムをインストールするかどうかに関係なく、...

MySQL の挿入ステートメントの使用実体験

目次1. 挿入のいくつかの構文1-1. 通常の挿入文1-2. 挿入または更新1-3. 挿入または交換...

MySQL は対応するクライアント プロセスにどのように接続しますか?

質問特定の MySQL 接続について、それがどのクライアント プロセスからのものであるかをどのように...

Divの境界と透明度に関する設定

フレーム:スタイル=”border-style:solid;border-width:5px;bor...

MySQLでSQL文がどのように実行されるかの詳細な説明

概要最近MySQL関連の知識を勉強し始めました。学んだ知識ポイントと自分の理解を元に整理して共有しま...

Linux サーバーのステータスとパフォーマンスに関連するコマンドの詳細な説明

サーバーステータス分析Linux サーバーの CPU の詳細を表示する#CPU情報を表示[root@...

Docker ベースの nginx ファイル サーバーを構築する方法と手順

1. このマシンに新しい設定ファイルdocker_nginx.confを作成します。 サーバー{ 7...

最新の超詳細な VMware 仮想マシンのダウンロードとインストールのグラフィック チュートリアル

目次1. 仮想マシンをダウンロードする2. 仮想マシンのインストールVMware のダウンロードとイ...