docker を使用して Kong クラスター操作を構築する

docker run -d --name kong-database \
       -p 9042:9042 \
       カサンドラ:最新

docker run --rm \
  --link kong-database:kong-database \
  -e "KONG_DATABASE=cassandra" \
  -e "KONG_PG_HOST=kongデータベース" \
  -e "KONG_CASSANDRA_CONTACT_POINTS=kongデータベース" \
  kong:最新のkong移行アップ

docker run -d --name kong \
  --link kong-database:kong-database \
  -e "KONG_DATABASE=cassandra" \
  -e "KONG_PG_HOST=kongデータベース" \
  -e "KONG_CASSANDRA_CONTACT_POINTS=kongデータベース" \
  -e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
  -e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
  -e "KONG_PROXY_ERROR_LOG=/dev/stderr" \
  -e "KONG_ADMIN_ERROR_LOG=/dev/stderr" \
  -p 8000:8000 \
  -p 8443:8443 \
  -p 8001:8001 \
  -p 8444:8444 \
  コング:最新

docker run -d --name kong\
 -e "KONG_DATABASE=cassandra" \
 -e "KONG_PG_HOST=kongデータベース" \
 -e "KONG_CASSANDRA_CONTACT_POINTS=172.16.100.101" \
 -e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
 -e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
 -e "KONG_PROXY_ERROR_LOG=/dev/stderr" \
 -e "KONG_ADMIN_ERROR_LOG=/dev/stderr" \
 -p 8000:8000 \
 -p 8443:8443 \
 -p 8001:8001 \
 -p 8444:8444 \
 コング:最新

docker exec -it kong bash //kong コンテナに入る cd etc/kong //ディレクトリに入る cp kong.conf.default kong.conf //kong.conf.default ファイルを kong.conf ファイルにコピーする vi kong.conf //db_update_propagation 構成項目を変更する

curl -i -X ​​POST\
 --url http://172.16.100.101:8001/apis/ \
 --data 'name=example-api' \
 --data 'hosts=example.com' \
 --data 'upstream_url=http://mockbin.org'

docker pull bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
docker pull bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
docker pull bde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.1-java8
docker pull bde2020/hadoop-historyserver:1.1.0-hadoop2.7.1-java8
docker pull bde2020/hadoop-nodemanager:1.1.0-hadoop2.7.1-java8

CORE_CONF_fs_defaultFS=hdfs://ネームノード:8020
CORE_CONF_hadoop_http_staticuser_user=ルート
CORE_CONF_hadoop_proxyuser_hue_hosts=*
CORE_CONF_hadoop_proxyuser_hue_groups=*

HDFS_CONF_dfs_webhdfs_enabled=true
HDFS_CONF_dfs_permissions_enabled=false

YARN_CONF_yarn_log___集約___有効=true
YARN_CONF_yarn_resourcemanager_recovery_enabled=true
YARN_CONF_yarn_resourcemanager_store_class=org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore
YARN_CONF_yarn_resourcemanager_fs_state___store_uri=/rmstate
YARN_CONF_yarn_nodemanager_remote___app___log___dir=/app-logs
YARN_CONF_yarn_log_server_url=http://historyserver:8188/applicationhistory/logs/
YARN_CONF_yarn_timeline___サービスが有効=true
YARN_CONF_yarn_timeline___サービス_generic___アプリケーション___履歴_enabled=true
YARN_CONF_yarn_resourcemanager_system___metrics___publisher_enabled=true
YARN_CONF_yarn_resourcemanager_hostname=リソースマネージャー
YARN_CONF_yarn_timeline___サービスホスト名=履歴サーバー
YARN_CONF_yarn_resourcemanager_address=リソースマネージャー:8032
YARN_CONF_yarn_resourcemanager_scheduler_address=リソースマネージャー:8030
YARN_CONF_yarn_resourcemanager_resource___tracker_address=リソースマネージャー:8031

バージョン: "2"

サービス:
 ネームノード:
  イメージ: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
  コンテナ名: ネームノード
  ボリューム:
   - hadoop_nameノード:/hadoop/dfs/name
  環境：
   - クラスター名=テスト
  環境変数:
   ./hadoop.env を参照してください。

 リソースマネージャー:
  イメージ: bde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.1-java8
  コンテナ名: リソースマネージャ
  依存:
   - ネームノード
   -データノード1
   -データノード2
   -データノード3
  環境変数:
   ./hadoop.env を参照してください。

 履歴サーバー:
  イメージ: bde2020/hadoop-historyserver:1.1.0-hadoop2.7.1-java8
  コンテナ名: 履歴サーバー
  依存:
   - ネームノード
   -データノード1
   -データノード2
   -データノード3
  ボリューム:
   - hadoop_historyserver:/hadoop/yarn/タイムライン
  環境変数:
   ./hadoop.env を参照してください。

 ノードマネージャ1:
  イメージ: bde2020/hadoop-nodemanager:1.1.0-hadoop2.7.1-java8
  コンテナ名: ノードマネージャ1
  依存:
   - ネームノード
   -データノード1
   -データノード2
   -データノード3
  環境変数:
   ./hadoop.env を参照してください。

 データノード1:
  イメージ: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
  コンテナ名: データノード1
  依存:
   - ネームノード
  ボリューム:
   - hadoop_datanode1:/hadoop/dfs/データ
  環境変数:
   ./hadoop.env を参照してください。

 データノード2:
  イメージ: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
  コンテナ名: datanode2
  依存:
   - ネームノード
  ボリューム:
   - hadoop_datanode2:/hadoop/dfs/データ
  環境変数:
   ./hadoop.env を参照してください。

 データノード3:
  イメージ: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
  コンテナ名: datanode3
  依存:
   - ネームノード
  ボリューム:
   - hadoop_datanode3:/hadoop/dfs/データ
  環境変数:
   ./hadoop.env を参照してください。

ボリューム:
 hadoop_nameノード:
 hadoop_datanode1:
 hadoop_datanode2:
 hadoop_datanode3:
 hadoop_historyサーバー:

# クラスターに含まれるコンテナとエクスポートされたポート番号を表示します sudo docker-compose ps
   名前 コマンド 状態 ポート
------------------------------------------------------------
datanode1 /entrypoint.sh /run.sh 50075/tcp を起動
datanode2 /entrypoint.sh /run.sh アップ 50075/tcp
datanode3 /entrypoint.sh /run.sh アップ 50075/tcp
historyserver /entrypoint.sh /run.sh 8188/tcp を起動
namenode /entrypoint.sh /run.sh 50070/tcp を起動
nodemanager1 /entrypoint.sh /run.sh 8042/tcp を起動
リソースマネージャ /entrypoint.sh /run.sh 8088/tc を起動

# namenode の IP アドレスを表示します sudo docker inspect namenode | grep IPAddress

/opt/hadoop-2.7.1 をインストールします

# ユーザーディレクトリを作成 hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/root

# データを準備する hdfs dfs -mkdir input
hdfs dfs -put etc/hadoop/*.xml 入力

# ジョブを送信します hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[az.]+'

# ジョブ実行結果を表示する hdfs dfs -cat output/*

hdfs dfs -rm 入力/*
hdfs dfs -rmdir 入力/
hdfs dfs -rm 出力/*
hdfs dfs -rmdir 出力/