1 つの記事で Apache Avro データを解析する

<?xml バージョン="1.0" エンコーディング="UTF-8"?>
<プロジェクト xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <モデルバージョン>4.0.0</モデルバージョン>

    <グループID>com.huawei.bigdata</グループID>
    <artifactId>アヴロデモ</artifactId>
    <バージョン>1.0-SNAPSHOT</バージョン>
    <依存関係>
        <依存関係>
            <グループ ID>org.apache.avro</グループ ID>
            <artifactId>アブロ</artifactId>
            <バージョン>1.8.1</バージョン>
        </依存関係>
        <依存関係>
            <groupId>ジュニット</groupId>
            <artifactId>junit</artifactId>
            <バージョン>4.12</バージョン>
        </依存関係>
    </依存関係>

    <ビルド>
        <プラグイン>
            <プラグイン>
                <グループ ID>org.apache.avro</グループ ID>
                <artifactId>Avro-Maven プラグイン</artifactId>
                <バージョン>1.8.1</バージョン>
                <処刑>
                    <実行>
                        <phase>ソースを生成する</phase>
                        <目標>
                            <goal>スキーマ</goal>
                        </目標>
                        <構成>
                            <ソースディレクトリ>${project.basedir}/src/main/avro/</ソースディレクトリ>
                            <出力ディレクトリ>${project.basedir}/src/main/java/</出力ディレクトリ>
                        </構成>
                    </実行>
                </処刑>
            </プラグイン>
            <プラグイン>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <構成>
                    <ソース>1.6</ソース>
                    <target>1.6</target>
                </構成>
            </プラグイン>
        </プラグイン>
    </ビルド>

</プロジェクト>

{"名前空間": "lancoo.ecbdc.pre",
 "タイプ": "レコード",
 "名前": "ユーザー",
 「フィールド」: [
     {"name": "名前", "type": "文字列"},
     {"name": "favorite_number", "type": ["int", "null"]},
     {"名前": "お気に入りの色", "タイプ": ["文字列", "null"]}
 ]
} 

ユーザー user1 = 新しい User();
user1.setName("アリッサ");
user1.setお気に入り番号(256);
// お気に入りの列または null を残す

// 代替コンストラクタ
ユーザー user2 = new User("Ben", 7, "red");

// ビルダー経由で構築
ユーザー user3 = User.newBuilder()
        .setName("チャーリー")
        .setFavoriteColor("青")
        .setお気に入り番号(null)
        。建てる（）;

// user1、user2、user3 をディスクにシリアル化します
DatumWriter<User> userDatumWriter = 新しい SpecificDatumWriter<User>(User.class);
DataFileWriter<ユーザー> dataFileWriter = 新しい DataFileWriter<ユーザー>(userDatumWriter);
dataFileWriter.create(user1.getSchema(), 新しいファイル("user_generic.avro"));
dataFileWriter.append(user1);
dataFileWriter.append(user2);
dataFileWriter.append(user3);
データファイルライターを閉じます。

// ディスクからユーザーをデシリアライズする
DatumReader<User> userDatumReader = 新しい SpecificDatumReader<User>(User.class);
DataFileReader<ユーザー> dataFileReader = new DataFileReader<ユーザー>(新しいファイル("user_generic.avro"), userDatumReader);
ユーザー user = null;
(dataFileReader.hasNext()) が実行される間 {
    // ユーザーオブジェクトをnext()に渡して再利用します。これにより、
    // 多くのオブジェクトを割り当ててガベージコレクションするファイル
    // 多くのアイテム。
    ユーザー = dataFileReader.next(ユーザー);
    System.out.println(ユーザー);
}

hdfs dfs -mkdir -p /tmp/lztest/
hdfs dfs -put user_generic.avro /tmp/lztest/ 

cp /opt/huawei/Bigdata/FusionInsight_Flink_8.1.2/install/FusionInsight-Flink-1.12.2/flink/opt/flink-sql-avro*.jar /opt/huawei/Bigdata/FusionInsight_Flink_8.1.3/install/FusionInsight-Flink-1.12.2/flink/lib
chmod 500 flink-sql-avro*.jar
chown omm:wheel flink-sql-avro*.jar 

テーブルtestHdfsを作成します(
  名前文字列、
  お気に入り番号 int,
  favorite_color 文字列
） と（
  'コネクタ' = 'ファイルシステム'、
  'パス' = 'hdfs:///tmp/lztest/user_generic.avro',
  'フォーマット' = 'avro'
);テーブル KafkaTable の作成 (
  名前文字列、
  お気に入り番号 int,
  favorite_color 文字列
） と （
  'コネクタ' = 'kafka'、
  'トピック' = 'testavro'、
  'properties.bootstrap.servers' = '96.10.2.1:21005',
  'properties.group.id' = 'testGroup'、
  'scan.startup.mode' = '最新オフセット'、
  'フォーマット' = 'avro'
);
挿入する
  Kafkaテーブル
選択
  *
から
  テストHdfs;