DockerはClickHouseをインストールし、データテストを初期化します

DockerはClickHouseをインストールし、データテストを初期化します

クリックハウスの紹介

ClickHouse は、SQL クエリを使用して分析データ レポートをリアルタイムで生成できる列指向のデータベース管理システムです。主に OLAP (オンライン分析処理) シナリオで使用されます。 ClickHouse の原理と基礎知識は、今後の研究で徐々にまとめられる予定です。

1. DockerでClickHouseをインストールする

docker run -d --name some-clickhouse-server \
-p 8123:8123 -p 9009:9009 -p 9091:9000 \
--ulimit nofile=262144:262144 \
-v /home/clickhouse:/var/lib/clickhouse \
yandex/クリックハウスサーバー

2. SSBMツールをダウンロードする

1. https://github.com/vadimtk/ssb-dbgen.git をクローンします
2. cd ssb-dbgen
3. 作る

3. データを生成する

./dbgen -s 100 -T c
./dbgen -s 100 -T p
./dbgen -s 100 -T s
./dbgen -s 100 -T l
./dbgen -s 100 -T d

次のデータを表示

ここに画像の説明を挿入

4. テーブルを作成する

テーブル default.customer を作成します。
(
        C_CUSTKEY UInt32、
        C_NAME 文字列、
        C_ADDRESS 文字列、
        C_CITY LowCardinality(文字列)、
        C_NATION LowCardinality(文字列)、
        C_REGION LowCardinality(文字列)、
        C_PHONE 文字列、
        C_MKTSEGMENT LowCardinality(文字列)
)
ENGINE = MergeTree ORDER BY (C_CUSTKEY);
テーブル default.lineorder を作成します
(
    LO_ORDERKEY UInt32、
    LO_LINENUMBER UInt8、
    LO_CUSTKEY UInt32、
    LO_PARTKEY UInt32、
    LO_SUPPKEY UInt32、
    LO_ORDERDATE 日付、
    LO_ORDERPRIORITY LowCardinality(文字列)、
    LO_SHIPPRIORITY UInt8、
    LO_QUANTITYUInt8、
    LO_EXTENDEDPRICE UInt32、
    LO_ORDTOTALPRICE UInt32、
    LO_DISCOUNT UInt8、
    LO_REVENUE UInt32、
    LO_SUPPLYCOST UInt32、
    LO_TAXUInt8、
    LO_COMMITDATE 日付、
    LO_SHIPMODE LowCardinality(文字列)
)
ENGINE = MergeTree PARTITION BY toYear(LO_ORDERDATE) ORDER BY (LO_ORDERDATE, LO_ORDERKEY);
CREATE TABLE デフォルト.part
(
        P_PARTKEY UInt32、
        P_NAME 文字列、
        P_MFGR LowCardinality(文字列)、
        P_CATEGORY LowCardinality(文字列)、
        P_BRAND LowCardinality(文字列)、
        P_COLOR LowCardinality(文字列)、
        P_TYPE LowCardinality(文字列)、
        P_SIZE UInt8、
        P_CONTAINER LowCardinality(文字列)
)
ENGINE = MergeTree ORDER BY P_PARTKEY;
テーブル default.supplier を作成します。
(
        S_SUPPKEY UInt32、
        S_NAME 文字列、
        S_ADDRESS 文字列、
        S_CITY LowCardinality(文字列)、
        S_NATION LowCardinality(文字列)、
        S_REGION LowCardinality(文字列)、
        S_PHONE 文字列
)
ENGINE = MergeTree ORDER BY S_SUPPKEY;

5. データのインポート

準備:
まず、ssb-dbgen (lineorder.tbl、customer.tbl、part.tbl、supplier.tbl) をclickhouse-serverコンテナにテストします。

clickhouse-client --query "顧客フォーマットCSVに挿入" < customer.tbl
clickhouse-client --query "パーツに挿入フォーマット CSV" < part.tbl
clickhouse-client --query "サプライヤ形式 CSV に挿入" < suppliers.tbl
clickhouse-client --query "lineorder FORMAT CSV に挿入" < lineorder.tbl

注意: ここでエラーが発生した場合は、ClickHouseの設定を確認してください(ポートが占有されているかどうか、ユーザー名とパスワードが設定されているかどうか)

6. テスト

シリアルナンバークエリステートメントSQL消費時間 (ミリ秒)
質問1 SELECT SUM(l.LO_EXTENDEDPRICE * l.LO_DISCOUNT) AS earnest FROM lineorder_flat WHERE toYear(l.LO_ORDERDATE) = 1993 AND l.LO_DISCOUNT BETWEEN 1 AND 3 AND l.LO_QUANTITY < 25; 36
Q2 SELECT SUM(l.LO_EXTENDEDPRICE * l.LO_DISCOUNT) AS earnest FROM lineorder_flat WHERE toYYYYMM(l.LO_ORDERDATE) = 199401 AND l.LO_DISCOUNT BETWEEN 4 AND 6 AND l.LO_QUANTITYBETWEEN 26 AND 35; 12
Q3 SELECT SUM(l.LO_EXTENDEDPRICE * l.LO_DISCOUNT) AS profit FROM lineorder_flat WHERE toISOWeek(l.LO_ORDERDATE) = 6 AND toYear(l.LO_ORDERDATE) = 1994 AND l.LO_DISCOUNT BETWEEN 5 AND 7 AND l.LO_QUANTITY BETWEEN 26 AND 35; 12
Q4 SELECT SUM(l.LO_REVENUE), toYear(l.LO_ORDERDATE) AS year, p.P_BRAND FROM lineorder_flat WHERE p.P_CATEGORY = 'MFGR#12' AND s.S_REGION = 'AMERICA' GROUP BY year, p.P_BRAND ORDER BY year, p.P_BRAND; 16
質問5 SELECT SUM(l.LO_REVENUE), toYear(l.LO_ORDERDATE) AS year, p.P_BRAND FROM lineorder_flat WHERE p.P_BRAND BETWEEN 'MFGR#2221' AND 'MFGR#2228' AND s.S_REGION = 'ASIA' GROUP BY year, p.P_BRAND ORDER BY year, p.P_BRAND; 21
質問6 toYear(l.LO_ORDERDATE) AS year、s.S_CITY、p.P_BRAND、SUM(l.LO_REVENUE -l.LO_SUPPLYCOST) AS profit を FROM lineorder_flat で選択し、s.S_NATION = 'UNITED STATES' AND (year = 1997 OR year = 1998) AND p.P_CATEGORY = 'MFGR#14' を GROUP BY year、s.S_CITY、p.P_BRAND で ORDER BY year、s.S_CITY、p.P_BRAND; 19

公式サイト参照:
https://clickhouse.tech/docs/en/getting-started/example-datasets/star-schema/#star-schema-benchmark

以上がDockerでClickHouseを作成し、データテストを初期化する手順です。Dockerの詳細については、123WORDPRESS.COMのその他の関連記事もご覧ください。

以下もご興味があるかもしれません:
  • docker mysqlの起動時に初期化SQLを実行する
  • Dockerfile を使用して MySQL イメージを構築し、データの初期化と権限設定を実装する詳細な説明
  • Docker での MySQL の初期化と起動の失敗の解決策
  • Dockerコンテナの起動時にMysqlデータベースを初期化する方法

<<:  Pythonの関数知識についての簡単な説明

>>:  Firefox の CSS を使用してデータを盗む

推薦する

複数のdiv内のテーブルのtdwidth設定は同じで、揃えることができません

最近、複数のdivにあるテーブルのTDを同じ幅に調整しても、揃えることができず、幅にパターンがないこ...

JavaScript は 9 グリッドのクリックによる色の変更効果を実装します

この記事では、9グリッドクリックの色変更効果を実現するためのJavaScriptの具体的なコードを参...

MySQL/MariaDB でピボット テーブルを実装する方法のサンプル コード

前回の記事では、Oracle でピボット テーブルを実装するいくつかの方法を紹介しました。今日は、同...

よく忘れられがちな CSS のヒント 26 選

これは、よく使われるけれども忘れられがちな CSS 実装方法のコレクションです。抜けや追加があれば、...

Tkinterはjsキャンバスを使用してグラデーションカラーを実現します

目次1. RGBを使用して色を表す2. Tkinter キャンバスコンポーネント3. グラデーション...

Centos7でmysql6の初期化インストールパスワードをインストールする方法

1. まずデータベースサーバーを停止しますサービスmysqld停止2.vim /etc/my.cnf...

MySQL の異なるテーブル間でフィールドをコピーする

場合によっては、フィールドから別の新しいフィールドにデータの列全体をコピーする必要があります。これは...

Webサービスのリモートデバッグとタイムアウト動作原理の分析

Webサービスのリモートデバッグ.NET では、WEBSERVICE のリモート デバッグ機能はデフ...

CSS が複数のクラスに一致する方法のサンプルコード

CSSは複数のクラスにマッチする次の HTML タグ li、クラスはオープン スタイルです。私の要件...

フロントエンドコンポーネント化の基礎知識を詳しく解説

目次コンポーネントの基本概念オブジェクトとコンポーネントの違い成分属性属性とプロパティ属性:財産:ク...

React プロジェクトで eslint の Baidu スタイルを使用する詳細な説明

1. Baidu Eslint Ruleプラグインをインストールする npm i -D eslint...

Linux で txt を mysql にインポートする方法

序文昨日、小さなプロジェクトを書いていたときに、txt ドキュメントのデータを mysql データベ...

入力選択スタイルを変更する CSS 疑似クラスのサンプルコード

注: この表はW3Schoolチュートリアルから引用したものです疑似要素の分類と機能: 入力選択スタ...

ウェブページでメモの詳細が灰色になる問題に対処する

1. IE では、相対的な配置、つまり <div style="background...

HTML スライドフローティングボールメニュー効果の実装

CSS スタイル html,本文{ 幅: 100%; 高さ: 100%; マージン: 0;パディング...