HiveメタデータをMySQLに設定するプロセス全体

HiveメタデータをMySQLに設定するプロセス全体
  • Hiveのインストールディレクトリで、confディレクトリに入り、hive-site.xmlファイルを作成します。
  • 公式ドキュメントに従ってパラメータを設定し、データをhive-site.xmlファイルにコピーします。
    https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

注:最初にメタストアデータベースを作成し、文字セットとしてlatin1を使用します。

mysql ドライバーを hive lib ディレクトリにコピーします。 (これはMySQLのインストールに関する前回の記事に関連しています)

ドライバーパッケージを解凍する

mysqlドライバをhive libディレクトリにコピーします

hiveを起動します(最初にhdfsとyarnを起動することを忘れないでください〜〜)

dfs.shを起動します
スタートヤーン
ハイブ

テーブルを作成し、メタデータをMySQLに保存できるかどうかを確認します。

メタストアライブラリをチェックする

TBLS テーブル


COLUMNS_V2 テーブル


DBS テーブル

上の図からわかるように

メタデータの構造

  1. テーブル情報は tbls テーブルに保存され、外部キー制約は dbs テーブル内の db_id とデータベースを通じて実行されます。
  2. ライブラリ情報は dbs テーブルに保存されます。
  3. フィールド情報はcolumn_v2テーブルに存在し、外部キー制約はCD_IDとテーブルの主キーを通じて実行されます。

要約する

これで、Mysql への hive メタデータの構成プロセス全体に関するこの記事は終了です。Mysql への hive メタデータの構成に関する関連コンテンツの詳細については、123WORDPRESS.COM で以前の記事を検索するか、次の関連記事を引き続き参照してください。今後も 123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • MySQL メタデータで Hive テーブル作成ステートメントのコメント スクリプトを生成する方法

<<:  Ubuntu 12.04 でカーネルツリーを構築する実装プロセスの詳細な説明

>>:  Vue3 親子コンポーネントパラメータ転送における sync 修飾子の使用法の詳細な説明

推薦する

MySQL インデックスの左端原則のサンプルコード

序文最近、MySQL のインデックスについて読んでいました。結合されたインデックスを見ると、左端の原...

画像を読み込むための JavaScript キャンバス

この記事では、画像を読み込むためのJavaScriptキャンバスの具体的なコードを参考までに紹介しま...

Docker で MySQL をインストールし、リモート接続を実装するチュートリアル

画像をプルする docker プル mysql完成した画像を見る Docker イメージイメージを介...

入力ボックスのオートコンプリート機能をオフにする

これで、autocomplete と呼ばれる input の属性を使用できるようになりました。オート...

MYSQLデータベーステーブル構造の最適化方法の詳細な説明

この記事では、例を使用して、MYSQL データベース テーブル構造を最適化する方法を説明します。ご参...

JS を使用した簡単な雪効果の例の詳細な説明

目次序文主な実装コードHTMLコードJSコード序文南の友達の多くは、雪をほとんど見たことがない、ある...

MySQL インデックスの原理と最適化の詳細な説明

序文この記事は Meituan の大物によって書かれました。とても素晴らしいので、皆さんと共有したい...

JDBC-idea で mysql をインポートして java jar パッケージに接続する (mac)

序文1. この記事ではMySQL 8.0バージョンを使用していますバージョン5.0と比較すると、パッ...

JVM 上の高性能データ形式ライブラリ パッケージである Apache Arrow の紹介とアーキテクチャ (Gkatziouras)

Apache Arrow は、BigQuery を含むさまざまなビッグデータ ツールで使用される一...

CSS はこのように使用できますか?気まぐれなグラデーションの芸術

前回の記事「1行のCSSコードの魅力」では、たった1行のCSSコードで生成できる美しい(奇妙な感じと...

MySQL インデックス データ構造の詳細な分析

目次概要インデックスデータ構造バイナリツリー赤黒木BツリーB+ツリーハッシュ索引InnoDB インデ...

メタ宣言注釈の手順

メタ宣言注釈の手順: 1. モバイル ページと 1 対 1 で対応するすべての PC ページを分類し...

MySQL 5.7.21 解凍版のインストールと設定方法のグラフィックチュートリアル

私は頻繁にシステムをインストールするので、インストールのたびにいくつかのソフトウェアを再インストール...

Linux システムの最適化 (カーネルの最適化) に関するいくつかの提案

スワップを無効にするサーバーがデータベース サービスまたはメッセージ ミドルウェア サービスを実行し...

現在のマウススライドの座標を取得するVue+openlayer5メソッド

序文: Vue プロジェクトで現在のマウスの座標を取得するにはどうすればよいでしょうか。ここで共有す...