MySQLからClickHouseに移行する5つの方法

テーブルエンジンの作成 MySQL
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
（
 name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],
 name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
 ...
 INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
 INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
) ENGINE = MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause']);

挿入 選択
-- 最初にテーブルを作成します CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
（
 name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
 name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
 ...
) ENGINE = エンジン
-- データをインポート INSERT INTO [db.]table [(c1, c2, c3)] select column or * from mysql('host:port', 'db', 'table_name', 'user', 'password')

mysql("host:port","db","table_name","user_name","password")からtoDate(xx)を選択します。
選択元としてテーブルを作成する
テーブルを作成 [存在しない場合] [db.]テーブル名
エンジン = ログ
として 
選択*
mysql から('host:port', 'db', 'article_clientuser_sum', 'user', 'password')

## テーブル clickhouse-mysql を作成する \
 --src-host=127.0.0.1 \
 --src-user=リーダー \
 --src-password=Qwerty1# \
 --table-templates-with-create-database \
 --src-table=airline.ontime > create_clickhouse_table_template.sql
## スクリプト vim create_clickhouse_table_template.sql を変更します
## インポートしてテーブルを作成する clickhouse-client -mn < create_clickhouse_table_template.sql
## clickhouse-mysqlにデータをインポートする\
 --src-host=127.0.0.1 \
 --src-user=リーダー \
 --src-password=Qwerty1# \
 --table-migrate \
 --dst-host=127.0.0.1 \
 --dst-table=ログ統合\
 --csvプール

## テーブルの作成を無視 clickhouse-client \
 -h ホスト \
 --query="[db].table に挿入 フォーマット CSV" < test.csv

カスタム区切り文字、--format_csv_delimiter="|"
エラーが発生した場合、中止するのではなくスキップします。 --input_format_allow_errors_num=10 は最大 10 行のエラーを許可し、 --input_format_allow_errors_ratio=0.1 は 10% のエラーを許可します。 csv は null 値をスキップし、コード: 27 を報告します。 DB::Exception: 入力を解析できません: 期待される 、 before: xxxx: (at row 69) ERROR: garbage after Nullable(Date): "8,002<LINE FEED>0205" sed ' :a;s/,,/,\\N,/g;ta' |clickhouse-client -h host --query "INSERT INTO [db].table FORMAT CSV" ,, を ,\N, に置き換えます。
python clean_csv.py --src=src.csv --dest=dest.csv --chunksize=50000 --cols --encoding=utf-8 --delimiter=,

<プロジェクト xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
 <モデルバージョン>4.0.0</モデルバージョン>
 <groupId>com.anjia</groupId>
 <artifactId>デモ</artifactId>
 <packaging>jar</packaging>
 <バージョン>1.0-SNAPSHOT</バージョン>
 <name>デモ</name>
 <url>http://maven.apache.org</url>
 <依存関係>
 <依存関係>
 <groupId>ru.yandex.clickhouse</groupId>
 <artifactId>クリックハウス-jdbc</artifactId>
 <バージョン>0.1.54</バージョン>
 </依存関係>
 <依存関係>
 <グループID>mysql</グループID>
 <artifactId>mysql-コネクタ-java</artifactId>
 <バージョン>5.1.47</バージョン>
 </依存関係>
 </依存関係>
</プロジェクト>

mvn 依存関係:コピー依存関係 -D出力ディレクトリ=lib -Dインクルードスコープ=コンパイル