Dockerとiptablesとブリッジモードのネットワーク分離と通信操作の実装

Docker は、ブリッジ、ホスト、オーバーレイなどの複数のネットワークを提供します。同じ Docker ホスト上に複数の異なるタイプのネットワークが同時に存在し、異なるネットワーク内のコンテナは相互に通信できません。

Docker コンテナのネットワーク間の分離と通信は、iptables メカニズムの助けを借りて実現されます。

iptables のフィルターテーブルは、デフォルトで INPUT、FORWARD、OUTPUT の 3 つのチェーンに分かれています。

Docker は、ブリッジネットワーク間の分離と通信を実現するために、FORWARD チェーン (カスタムチェーンへの転送) 内に独自のチェーンも提供します。

基本的なDockerネットワーク構成

Docker を起動すると、ホスト上に docker0 仮想ブリッジが自動的に作成されます。これは実際には Linux ブリッジであり、ソフトウェアスイッチとして理解できます。マウントされたネットワークポート間でトラフィックを転送します。

同時に、Docker は、ローカルの未使用のプライベートネットワークセグメント内のアドレスを docker0 インターフェイスにランダムに割り当てます。たとえば、一般的な IP アドレスは 172.17.0.1 で、マスクは 255.255.0.0 です。その後起動したコンテナ内のネットワークポートにも、同じネットワークセグメント (172.17.0.0/16) 内のアドレスが自動的に割り当てられます。

Docker コンテナが作成されると、veth ペアインターフェースのペアが同時に作成されます (データパケットが 1 つのインターフェースに送信されると、他のインターフェースでも同じデータパケットを受信できます)。

このインターフェースのペアの一方の端はコンテナ内にあり、eth0 です。もう一方の端はローカルにあり、docker0 ブリッジにマウントされ、名前は veth で始まります (たとえば、veth1)。このようにして、ホストはコンテナと通信でき、コンテナは互いに通信できるようになります。

Docker は、ホストとすべてのコンテナの間に仮想共有ネットワークを作成します。

1. iptablesのフィルターテーブル内のDockerチェーン

Docker 18.05.0 (2018.5) 以降のバージョンでは、次の 4 つのチェーンが提供されます。

ドッカー
DOCKER-分離-ステージ-1
DOCKER-分離-ステージ-2
DOCKER ユーザー

現在、ホストの Docker のデフォルトの iptables 設定は、/etc/sysconfig/iptables ファイルにリストされています。

##アドレス転送テーブル NAT ルールチェーンとデフォルト *NAT
#PREROUTINGルールチェーンのデフォルトポリシーはACCEPTです
:事前ルーティング受け入れ [0:0]
#INPUTルールチェーンのデフォルトポリシーはACCEPTです
:入力受け入れ[0:0]
#OUTPUTルールチェーンのデフォルトポリシーはACCEPTです
:出力受け入れ [4:272]
#POSTROUTINGルールチェーンのデフォルトポリシーはACCEPTです
:ポストルーティング受け入れ [4:272]
#DOCKER ルールチェーンのデフォルトポリシーは ACCEPT です
:ドッカー - [0:0]
 
##########################PREROUTING ルール チェーンに追加されたルール#############################
##-m は、パケットを一致させるために拡張モジュールを使用することを意味します。ローカルマシンに到着したパケットの宛先アドレスタイプがローカルエリアネットワークの場合、DOCKER チェーン -A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER に割り当てられます。
 
##########################OUTPUT ルール チェーンに追加されたルール############################
-A 出力! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
 
##########################POSTROUTING ルール チェーンに追加されたルール#############################
##このルールは、コンテナが外部ネットワークと通信できるように設計されています。#送信元アドレスが 192.168.0.0/20 のパケット (つまり、Docker コンテナによって生成されたパケット) で、docker0 ネットワーク カードから送信されていないパケットは、ホスト ネットワーク カードのアドレスに変換されます。
-A POSTROUTING -s 192.168.0.0/20 ! -o docker0 -j MASQUERADE
 
################################DOCKER ルール チェーンに追加されたルール##############################
#docker0インターフェースから入力されたデータパケットは呼び出しチェーンに返されます。-iはデータパケットがどのインターフェースから処理されるかを指定します -A DOCKER -i docker0 -j RETURN
 
###############################################################################
##ルールテーブル*フィルター内のチェーンとデフォルトポリシー
:入力ドロップ [4:160]
:転送承認[0:0]
:出力受け入れ [59:48132]
:ドッカー - [0:0]
:DOCKER-ISOLATION-ステージ-1 - [0:0]
:DOCKER-アイソレーション-ステージ-2 - [0:0]
:DOCKER-ユーザー - [0:0]
 
###############################FORWARD ルール チェーンに追加されたルール##############################
##すべてのデータパケットはDOCKER-USERチェーンに割り当てられます -A FORWARD -j DOCKER-USER
##すべてのデータパケットはDOCKER-ISOLATION-STAGE-1チェーンに割り当てられます -A FORWARD -j DOCKER-ISOLATION-STAGE-1
 
-A FORWARD -o docker0 -m conntrack --ctstate RELATED、ESTABLISHED -j ACCEPT
##docker0インターフェースから出力されるデータパケットはDOCKERチェーンに割り当てられます -A FORWARD -o docker0 -j DOCKER
##docker0 インターフェースによって入力され、docker0 インターフェースによって出力されないデータ パケットは通過を許可されます -A FORWARD -i docker0 ! -o docker0 -j ACCEPT
##docker0インターフェースから入力されたデータパケットとdocker0インターフェースから出力されたデータパケットは通過を許可されます -A FORWARD -i docker0 -o docker0 -j ACCEPT
 
######################DOCKER-ISOLATION-STAGE-1 ルール チェーンにルールが追加されました##################
##docker0 インターフェースによって入力されるが、docker0 インターフェースによって出力されないデータ パケットは、DOCKER-ISOLATION-STAGE-2 チェーンに割り当てられます。##つまり、docker0 からのデータ パケットを処理するが、docker0 によって出力されない場合 -A DOCKER-ISOLATION-STAGE-1 -i docker0 ! -o docker0 -j DOCKER-ISOLATION-STAGE-2
##データパケットは直接呼び出しチェーンに戻ります -A DOCKER-ISOLATION-STAGE-1 -j RETURN
 
######################DOCKER-ISOLATION-STAGE-2 ルール チェーンにルールが追加されました##################
##docker0インターフェースから出力されたデータパケットは破棄されます -A DOCKER-ISOLATION-STAGE-2 -o docker0 -j DROP
##データパケットは直接呼び出しチェーンに戻ります -A DOCKER-ISOLATION-STAGE-2 -j RETURN
 
################################DOCKER-USER ルール チェーンに追加されたルール###############################
## 呼び出しチェーンに直接戻る -A DOCKER-USER -j RETURN

2. DockerのDOCKERチェーン

ホストから docker0 への IP パケットのみが処理されます。

3. DockerのDOCKER-ISOLATIONチェーン（異なるブリッジネットワーク間の通信を分離する）

ご覧のとおり、異なるブリッジネットワーク間の通信を分離するために、Docker は 2 つの DOCKER-ISOLATION ステージ実装を提供します。

DOCKER-ISOLATION-STAGE-1 チェーンは、送信元アドレスがブリッジネットワーク (デフォルトでは docker0) であるパケットをフィルタリングします。一致するパケットは、DOCKER-ISOLATION-STAGE-2 チェーンによって処理されます。

一致するものがない場合、親チェーンに FORWARD で戻ります。

DOCKER-ISOLATION-STAGE-2 チェーンでは、宛先アドレスがブリッジネットワーク (デフォルトでは docker0) であるパケットがさらに処理されます。一致するパケットは、パケットがブリッジネットワークから別のブリッジネットワークに送信されたことを示します。他のブリッジネットワークからのこのようなパケットは直接ドロップされます。

一致しないデータパケットは、後続の処理のために親チェーンに FORWARD で返されます。

4. DockerのDOCKER-USERチェーン

Docker が起動すると、DOCKER チェーンと DOCKER-ISOLATION (現在は DOCKER-ISOLATION-STAGE-1) チェーン内のフィルタリングルールが読み込まれ、有効になります。ここでフィルタリングルールを変更することは絶対に禁止されています。

ユーザーが Docker のフィルタリングルールを補足したい場合は、それらを DOCKER-USER チェーンに追加することを強くお勧めします。

DOCKER-USER チェーンのフィルタリングルールは、Docker によって作成されたデフォルトのルールの前にロードされます (上記のルールリストでは、DOCKER_USER チェーンが最初にルールチェーンに追加されます)。これにより、DOCKER チェーンと DOCKER-ISOLATION チェーン内の Docker のデフォルトのフィルタリングルールが上書きされます。

たとえば、Docker を起動すると、デフォルトで外部ソース IP の転送が許可されるため、ホスト上の任意の Docker コンテナインスタンスにソース IP から接続できるようになります。特定の IP のみがコンテナインスタンスにアクセスできるようにする場合は、DOCKER チェーンの前にロードできるように、DOCKER-USER チェーンにルーティングルールを挿入できます。

次に例を示します。

# 192.168.1.1 のみがコンテナにアクセスできるようにする iptables -A DOCKER-USER -i docker0 ! -s 192.168.1.1 -j DROP
# 192.168.1.0/24 ネットワークセグメントの IP のみがコンテナにアクセスできるようにする iptables -A DOCKER-USER -i docker0 ! -s 192.168.1.0/24 -j DROP
# 192.168.1.1-192.168.1.3 ネットワークセグメント内の IP のみがコンテナにアクセスできるようにします (iprange モジュールが必要です)
iptables -A DOCKER-USER -m iprange -i docker0 ! --src-range 192.168.1.1-192.168.1.3 -j DROP

5. iptables の nat テーブル内の Docker ルール

コンテナから他の Docker ホストにアクセスするには、Docker は iptables の nat テーブルの POSTROUTING チェーンに転送ルールを挿入する必要があります。例は次のとおりです。

iptables -t nat -A POSTROUTING -s 172.18.0.0/16 -j マスカレード

上記の構成では、コンテナインスタンスの IP 範囲をさらに制限して、Docker ホスト上に複数のブリッジネットワークがある状況を区別します。

6. Dockerではiptablesフィルタテーブルの変更は禁止されています

dockerd を起動すると、パラメータ --iptables はデフォルトで true に設定され、iptables ルーティングテーブルを変更できるようになります。

この機能を無効にするには、次の 2 つのオプションがあります。

起動パラメータ --iptables=false を設定する

設定ファイル/etc/docker/daemon.jsonを変更し、"iptables": "false"; に設定し、systemctl reload dockerを実行してリロードします。

追加知識: Docker ネットワークモードのデフォルトブリッジモード

前述の通り、Docker には birdge、host、overlay、nacvlan、none、Network plugin の 5 つのネットワークモードがあります。ここでは主に bridge のデフォルトのブリッジモードを紹介します。

1. はじめに

ネットワークの概念では、ブリッジはネットワークセグメント間でトラフィックを転送するリンク層デバイスです。ネットワークブリッジは、ホストカーネル上で実行されるハードウェアデバイスまたはソフトウェアデバイスです。 Docker では、ブリッジネットワークはソフトウェアブリッジングを使用します。同じブリッジネットワークに接続されたコンテナーは、直接かつ完全なポートで相互に通信でき、ブリッジネットワークに接続されていないコンテナーとは直接分離されます。このように、ブリッジネットワークは、同じホスト上のすべてのコンテナーの接続と分離を管理します。 Docker のブリッジドライバーは、同じブリッジ上のネットワークが相互に通信できるように、また異なるブリッジネットワーク上のコンテナーが相互に分離されるように、ホストにルールを自動的にインストールします。

ブリッジネットワークは、同じホスト上の Docker デーモンによって生成されたコンテナーに適用できます。異なるホスト上のコンテナー間のやり取りには、オペレーティングシステムレベルのルーティング操作を使用するか、オーバーレイネットワークドライバーを使用します。

Docker を起動すると (systemctl start docker)、Docker デーモンをホストマシンに接続するためのデフォルトのブリッジネットワーク (birbr0) が自動的に作成され、ネットワーク docker0 が作成されます。以降のコンテナーは、ブリッジネットワーク (docker0) に自動的に接続されます。ローカルブリッジを表示できます。コンテナーが作成されるたびに、コンテナーをデフォルトのブリッジネットワークに接続するための新しいブリッジが作成されます。

[root@localhost hadoop]# brctl show
ブリッジ名 ブリッジID STP対応インターフェース
docker0 8000.0242b47b550d いいえ
virbr0 8000.52540092a4f4 はい virbr0-nic
[ルート@localhost hadoop]#

ブリッジ virbr0 は docker0 とホストマシンを接続します。ブリッジ上にインターフェース virbr0-nic が作成され、docker0 ネットワークからデータを受信します。コンテナが生成されるたびに、docker0 上に新しいインターフェースが作成され、docker0 のアドレスがコンテナのゲートウェイとして設定されます。

[root@localhost hadoop]# docker run --rm -tdi nvidia/cuda:9.0-base 
[root@localhost hadoop]# docker ps
コンテナID イメージ コマンド 作成ステータス ポート名
9f9c2b80062f nvidia/cuda:9.0-base "/bin/bash" 15秒前 14秒前 quizzical_mcnulty
[root@localhost hadoop]# brctl show
ブリッジ名 ブリッジID STP対応インターフェース
docker0 8000.0242b47b550d いいえ vethabef17b
virbr0 8000.52540092a4f4 はい virbr0-nic
[ルート@localhost hadoop]#

ローカルネットワーク情報を表示する ifconfig -a

[root@localhost hadoop]# ifconfig -a
docker0: flags=4163<UP、ブロードキャスト、実行中、マルチキャスト> mtu 1500
    inet 192.168.0.1 ネットマスク 255.255.240.0 ブロードキャスト 192.168.15.255
    inet6 fe80::42:b4ff:fe7b:550d プレフィックス長 64 スコープID 0x20<リンク>
    ether 02:42:b4:7b:55:0d txqueuelen 0 (イーサネット)
    RXパケット 37018 バイト 2626776 (2.5 MiB)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 46634 バイト 89269512 (85.1 MiB)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
 
eno1: flags=4163<UP、BROADCAST、RUNNING、MULTICAST> mtu 1500
    inet 192.168.252.130 ネットマスク 255.255.255.0 ブロードキャスト 192.168.252.255
    ether 00:25:90:e5:7f:20 txqueuelen 1000 (イーサネット)
    RXパケット 14326014 バイト 17040043512 (15.8 GiB)
    RXエラー 0 ドロップ 34 オーバーラン 0 フレーム 0
    TXパケット 10096394 バイト 3038002364 (2.8 GiB)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
    デバイスメモリ 0xfb120000-fb13ffff 
 
eth1: flags=4099<UP、ブロードキャスト、マルチキャスト> mtu 1500
    ether 00:25:90:e5:7f:21 txqueuelen 1000 (イーサネット)
    RXパケット 0 バイト 0 (0.0 B)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 0 バイト 0 (0.0 B)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
    デバイスメモリ 0xfb100000-fb11ffff 
 
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
    inet 127.0.0.1 ネットマスク 255.0.0.0
    inet6 ::1 プレフィックス長 128 スコープID 0x10<ホスト>
    ループ txqueuelen 0 (ローカル ループバック)
    RXパケット 3304 バイト 6908445 (6.5 MiB)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 3304 バイト 6908445 (6.5 MiB)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
 
oray_vnc: flags=4163<UP、BROADCAST、RUNNING、MULTICAST> mtu 1200
    inet 172.1.225.211 ネットマスク 255.0.0.0 ブロードキャスト 172.255.255.255
    ether 00:25:d2:e1:01:00 txqueuelen 500 (イーサネット)
    RXパケット 1944668 バイト 227190815 (216.6 MiB)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 2092320 バイト 2232228527 (2.0 GiB)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
 
vethabef17b: flags=4163<UP、ブロードキャスト、実行中、マルチキャスト> mtu 1500
    inet6 fe80::e47d:4eff:fe87:39d3 プレフィックス長 64 スコープID 0x20<リンク>
    ether e6:7d:4e:87:39:d3 txqueuelen 0 (イーサネット)
    RXパケット 0 バイト 0 (0.0 B)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 8バイト 648 (648.0 B)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
 
virbr0: flags=4099<UP、ブロードキャスト、マルチキャスト> mtu 1500
    inet 192.168.122.1 ネットマスク 255.255.255.0 ブロードキャスト 192.168.122.255
    ether 52:54:00:92:a4:f4 txqueuelen 0 (イーサネット)
    RXパケット 0 バイト 0 (0.0 B)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 0 バイト 0 (0.0 B)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0
 
virbr0-nic: flags=4098<ブロードキャスト、マルチキャスト> mtu 1500
    ether 52:54:00:92:a4:f4 txqueuelen 500 (イーサネット)
    RXパケット 0 バイト 0 (0.0 B)
    RXエラー 0 ドロップ 0 オーバーラン 0 フレーム 0
    TXパケット 0 バイト 0 (0.0 B)
    TXエラー 0 ドロップ 0 オーバーラン 0 キャリア 0 衝突 0

Docker は、ブリッジとルーティングルールを組み合わせて、同じホストマシン内のコンテナー間の相互作用を設定します。Docker コンテナーブリッジネットワークドライバーでは、ネットワークアクセスメソッドは次の図に示されています。

コンテナの起動時にポートマッピングが指定されている場合は、内部ポート80をホストポート8080にマッピングします。次のように、0.0.0.0:8080にネットワークカードを指定することもできます。

docker run --rm -ti -p 8080:80 nvidia/cuda:9.0-base

次に、ルーティングテーブルを確認します。

iptables -t nat -vnL

ルーティング転送ルールが追加されたことがわかります。

[root@localhost hadoop]# iptables -t nat -vnL
チェーン PREROUTING (ポリシー ACCEPT 55 パケット、2470 バイト)
 pkts バイト ターゲット prot オプトイン アウト ソース 宛先     
 161K 8056K PREROUTING_direct すべて -- * * 0.0.0.0/0 0.0.0.0/0      
 161K 8056K PREROUTING_ZONES_SOURCE すべて -- * * 0.0.0.0/0 0.0.0.0/0      
 161K 8056K PREROUTING_ZONES すべて -- * * 0.0.0.0/0 0.0.0.0/0      
  0 0 DOCKER すべて -- * * 0.0.0.0/0 0.0.0.0/0 ADDRTYPE dst-type LOCAL と一致
 
チェーン INPUT (ポリシー ACCEPT 0 パケット、0 バイト)
 pkts バイト ターゲット prot オプトイン アウト ソース 宛先     
 
チェーン出力 (ポリシー ACCEPT 0 パケット、0 バイト)
 pkts バイト ターゲット prot オプトイン アウト ソース 宛先     
 3442 258K OUTPUT_direct すべて -- * * 0.0.0.0/0 0.0.0.0/0      
  0 0 DOCKER すべて -- * * 0.0.0.0/0 !127.0.0.0/8 ADDRTYPE は dst-type LOCAL と一致する
 
チェーン POSTROUTING (ポリシー ACCEPT 0 パケット、0 バイト)
 pkts バイト ターゲット prot オプトイン アウト ソース 宛先     
  0 0 すべてをマスカレード -- * !docker0 192.168.0.0/20 0.0.0.0/0      
  0 0 すべてを返す -- * * 192.168.122.0/24 224.0.0.0/24    
  0 0 すべてを返す -- * * 192.168.122.0/24 255.255.255.255   
  0 0 マスカレード tcp -- * * 192.168.122.0/24 !192.168.122.0/24 マスカレードポート: 1024-65535
  0 0 マスカレード udp -- * * 192.168.122.0/24 !192.168.122.0/24 マスカレードポート: 1024-65535
  0 0 すべてをマスカレード -- * * 192.168.122.0/24 !192.168.122.0/24  
 3442 258K POSTROUTING_direct すべて -- * * 0.0.0.0/0 0.0.0.0/0      
 3442 258K POSTROUTING_ZONES_SOURCE すべて -- * * 0.0.0.0/0 0.0.0.0/0      
 3442 258K POSTROUTING_ZONES すべて -- * * 0.0.0.0/0 0.0.0.0/0      
  0 0 マスカレード tcp -- * * 192.168.0.3 192.168.0.3 tcp dpt:80
 
チェーン DOCKER (2 件の参照)
 pkts バイト ターゲット prot オプトイン アウト ソース 宛先     
  0 0 すべてを返す --docker0 * 0.0.0.0/0 0.0.0.0/0      
  0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:8080 から:192.168.0.3:80

デフォルトのポートタイプは TCP です。

2. コンテナ間アクセス構成

まず 2 つのコンテナを起動し、コンテナに入り、各コンテナの IP 情報を確認します。

[root@localhost hadoop]# docker ps
コンテナID イメージ コマンド 作成ステータス ポート名
462751a70444 nvidia/cuda:9.0-base "/bin/bash" 17 分前 17 分前にアップ 0.0.0.0:8080->80/tcp sad_heyrovsky
9f9c2b80062f nvidia/cuda:9.0-base "/bin/bash" 41 分前 41 分前 quizzical_mcnulty
[ルート@localhost hadoop]#

ここで2つのコンテナを起動し、docker examine container IDを呼び出してコンテナのIPを表示します。