データクリーニング (ETL) コアビジネスの MapReduce プログラムを実行する前に、まずデータをクリーンアップして、ユーザーの要件を満たさないデータを削除する必要があることがよくあります。クリーンアップ プロセスでは、多くの場合、Reduce プログラムではなく Mapper プログラムの実行のみが必要になります。 1.必要 フィールドの長さが 11 以下のログを削除します。 (1)入力データ ウェブログ (2)期待出力データ 各行フィールドの長さが11より大きい 2.需要分析 入力データは、マップ ステージのルールに従ってフィルタリングおよびクリーンアップする必要があります。 3.実装コード (1)LogMapperクラスを書く パッケージ com.atguigu.mapreduce.weblog; java.io.IOException をインポートします。 org.apache.hadoop.io.LongWritable をインポートします。 org.apache.hadoop.io.NullWritable をインポートします。 org.apache.hadoop.io.Text をインポートします。 org.apache.hadoop.mapreduce.Mapper をインポートします。 パブリッククラス LogMapper は Mapper<LongWritable, Text, Text, NullWritable> を拡張します{ テキスト k = 新しいテキスト(); @オーバーライド protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 1 1行のデータを取得します。String line = value.toString(); // 2 ログを解析する boolean result = parseLog(line,context); // 3 ログが不正なので終了 if (!result) { 戻る; } // 4 キーを設定する k.set(行); // 5 データを書き込む context.write(k, NullWritable.get()); } // 2 ログを解析する private boolean parseLog(String line, Context context) { // 1 インターセプト String[] fields = line.split(" "); // 長さが11より大きい2つのログは有効です if (fields.length > 11) { // システムカウンター context.getCounter("map", "true").increment(1); true を返します。 }それ以外 { context.getCounter("map", "false").increment(1); false を返します。 } } } (2)LogDriverクラスを書く パッケージ com.atguigu.mapreduce.weblog; org.apache.hadoop.conf.Configuration をインポートします。 org.apache.hadoop.fs.Path をインポートします。 org.apache.hadoop.io.NullWritable をインポートします。 org.apache.hadoop.io.Text をインポートします。 org.apache.hadoop.mapreduce.Job をインポートします。 org.apache.hadoop.mapreduce.lib.input.FileInputFormat をインポートします。 org.apache.hadoop.mapreduce.lib.output.FileOutputFormat をインポートします。 パブリッククラスLogDriver { パブリック静的void main(String[] args)は例外をスローします{ // 入力パスと出力パスは、コンピューターの実際の入力パスと出力パスに従って設定する必要があります args = new String[] { "e:/input/inputlog", "e:/output1" }; // 1 ジョブ情報を取得する Configuration conf = new Configuration(); ジョブ job = Job.getInstance(conf); // 2 jar パッケージをロードします job.setJarByClass(LogDriver.class); // 3 つの関連マップ ジョブを LogMapper.class に設定します。 // 4 最終出力タイプを設定する job.setOutputKeyClass(Text.class); ジョブの出力値クラスを設定します(NullWritable.class)。 // 削減タスクの数を0に設定する ジョブのタスク数を減らす(0) // 5 入力パスと出力パスを設定する FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(ジョブ、新しいパス(args[1])); // 6 送信 job.waitForCompletion(true); } } 要約する 以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。 以下もご興味があるかもしれません:
|
<<: MySQL エラー: ロックを取得しようとしたときにデッドロックが見つかりました。トランザクションの解決策を再起動してください
>>: JSX を使用してマークアップ コンポーネント スタイルの開発を作成する例 (フロントエンドのコンポーネント化)
この記事を読む前に、Volumes について予備知識を身に付けておいてください。詳細については、こち...
1. 現在のスクリプトの実際のパスを取得します。 #!/bin/bash if [[ $0 =~ ^...
<br />このタグを使用すると、表のタイトルを直接追加し、タイトル テキストの配置プロ...
黄金律常に同じコーディング標準セットに従ってください。同じプロジェクトに何人の人が関わっているかに関...
まず、どのフィールドまたはフィールドの組み合わせがデータ行を一意に識別できるかを決定する必要がありま...
目次JavaScript のインポート1. 内部ラベル2. 外部紹介基本的な構文データ型番号弦ブール...
目次1.Nuxtサーバーサイドレンダリングアプリケーションの展開(SSRサーバーレンダリング)利点:...
Windows または Linux オペレーティング システムをインストールするかどうかに関係なく、...
目次1. 挿入のいくつかの構文1-1. 通常の挿入文1-2. 挿入または更新1-3. 挿入または交換...
質問特定の MySQL 接続について、それがどのクライアント プロセスからのものであるかをどのように...
フレーム:スタイル=”border-style:solid;border-width:5px;bor...
概要最近MySQL関連の知識を勉強し始めました。学んだ知識ポイントと自分の理解を元に整理して共有しま...
サーバーステータス分析Linux サーバーの CPU の詳細を表示する#CPU情報を表示[root@...
1. このマシンに新しい設定ファイルdocker_nginx.confを作成します。 サーバー{ 7...
目次1. 仮想マシンをダウンロードする2. 仮想マシンのインストールVMware のダウンロードとイ...