HiveメタデータをMySQLに設定するプロセス全体

HiveメタデータをMySQLに設定するプロセス全体
  • Hiveのインストールディレクトリで、confディレクトリに入り、hive-site.xmlファイルを作成します。
  • 公式ドキュメントに従ってパラメータを設定し、データをhive-site.xmlファイルにコピーします。
    https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

注:最初にメタストアデータベースを作成し、文字セットとしてlatin1を使用します。

mysql ドライバーを hive lib ディレクトリにコピーします。 (これはMySQLのインストールに関する前回の記事に関連しています)

ドライバーパッケージを解凍する

mysqlドライバをhive libディレクトリにコピーします

hiveを起動します(最初にhdfsとyarnを起動することを忘れないでください〜〜)

dfs.shを起動します
スタートヤーン
ハイブ

テーブルを作成し、メタデータをMySQLに保存できるかどうかを確認します。

メタストアライブラリをチェックする

TBLS テーブル


COLUMNS_V2 テーブル


DBS テーブル

上の図からわかるように

メタデータの構造

  1. テーブル情報は tbls テーブルに保存され、外部キー制約は dbs テーブル内の db_id とデータベースを通じて実行されます。
  2. ライブラリ情報は dbs テーブルに保存されます。
  3. フィールド情報はcolumn_v2テーブルに存在し、外部キー制約はCD_IDとテーブルの主キーを通じて実行されます。

要約する

これで、Mysql への hive メタデータの構成プロセス全体に関するこの記事は終了です。Mysql への hive メタデータの構成に関する関連コンテンツの詳細については、123WORDPRESS.COM で以前の記事を検索するか、次の関連記事を引き続き参照してください。今後も 123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • MySQL メタデータで Hive テーブル作成ステートメントのコメント スクリプトを生成する方法

<<:  Ubuntu 12.04 でカーネルツリーを構築する実装プロセスの詳細な説明

>>:  Vue3 親子コンポーネントパラメータ転送における sync 修飾子の使用法の詳細な説明

推薦する

Vite2+Vue3を使用してMarkdownドキュメントをレンダリングする練習

目次カスタム Vite プラグインvite-plugin-markdownの使用Front Matt...

Node.jsサービスDockerコンテナアプリケーション実践のまとめ

この記事では、Docker コマンドの使用とインストールについては説明しません。Docker を基礎...

Linux でジャンプ サーバー経由でリモート サーバーに接続し、ファイルを転送する方法

最近、Linux ホストに環境を展開する際に多くの問題に遭遇しました。最初の問題は、ジャンプ サーバ...

シームレスなカルーセル効果を実現するネイティブ js

参考までに、ネイティブjsでカルーセル効果(シームレススクロール)を実現しています。具体的な内容は以...

シンプルなショッピングカートの最も完全なコード分析を実装する JavaScript (ES6 オブジェクト指向)

この記事では、シンプルなショッピングカートを実装するためのJavaScriptの具体的なコードを参考...

優れたHTML印刷コードがページめくりをサポート

ylbtech_html_print HTML 印刷コード、ページめくりをサポートコードをコピーコー...

JavaScript ES 新機能ブロックスコープ

目次1. ブロックスコープとは何ですか? 2. ブロックスコープが必要なのはなぜですか? 3. 関数...

Vue3 Reactivityの実装方法を教えます

目次序文始めるちょっとした考えコードの実装真似する実装トラックトリガーの実装観察の実装計算の実装序文...

Google 翻訳ツール: 多言語ウェブサイトを素早く実装

Google Chinaは、ウェブサイトやブログを素早く簡単に多言語化できる翻訳ツールをリリースした...

Dockerの国内イメージソースを変更する方法

Dockerデーモンのアクセラレータを構成する設定ファイルから Docker を起動し、/etc/d...

Visual Studio Code + Reactをベースに開発環境を構築するプロセス

開発環境ウィンドウ開発ツール Visual Studio Codeノードのインストールとnpm Wi...

CSS3 のメディアクエリと rem レイアウトを組み合わせてモバイル画面に適応

CSS3 構文: (750 ピクセルのデザインの場合、1rem = 100 ピクセル) @media...

Node.jsとDenoの比較

目次序文Denoとは何ですか? Node.jsとの比較建築ESモジュール依存関係の管理TypeScr...

MySQLフィルタリングレプリケーションのアイデアの詳細な説明

目次mysql フィルター レプリケーションメインデータベースに実装ライブラリから実装いくつかの質問...

docker-compose ポートと expose の違いの詳細な説明

docker-compose でコンテナ ポートを公開する方法は、ports と expose の ...