LinuxにKafkaをインストールする

# インストールコマンド rpm -ivh jdk-8u261-linux-x64.rpm 

# 設定ファイル、jdk の bin ディレクトリを /etc/profile ファイルに変更します。これはすべてのユーザーのシェルに有効です。vim /etc/profile
# 有効にする source /etc/profile 

JAVA_HOME=/usr/java/jdk1.8.0_261-amd64 をエクスポートします。
エクスポート PATH=$PATH:$JAVA_HOME/bin 

# java -version を確認する

# 指定されたディレクトリにzkを解凍します。tar -zxf zookeeper-3.4.14.tar.gz -C /opt 

# conf 設定ディレクトリに入る cd /opt/zookeeper-3.4.14/conf
# zoo_sample.cfg をコピーして zoo.cfg という名前を付けます
cp zoo_sample.cfg zoo.cfg
# zoo.cfg ファイルを編集する vim zoo.cfg
データディレクトリ=/var/riemann/zookeeper/data 

ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14 をエクスポートします。
PATH=$PATH:$ZOOKEEPER_PREFIX/bin をエクスポートします
エクスポート ZOO_LOG_DIR=/var/riemann/zookeeper/log

ソース /etc/profile

zkServer.sh 開始

tar -zxf kafka_2.12-1.0.2.tgz -C /opt 

vim /etc/プロファイル

エクスポート KAFKA=/opt/kafka_2.12-1.0.2
PATH=$PATH:$KAFKA/bin をエクスポートします

ソース /etc/profile

vi /opt/kafka_2.12-1.0.2/config/server.properties 

log.dirs = /var/riemann/kafka/kafka-logs

mkdir -p /var/riemann/kafka/kafka-logs

kafka-server-start.sh ../config/server.properties 

kafka-server-start.sh -daemon config/server.properties

ps -ef | grep カフカ

kafka-server-stop.sh

[root@master1 bin]# kafka-topics.sh
トピックを作成、削除、説明、または変更します。
オプションの説明                            
------ -----------                            
--alter パーティションの数を変更する。        
                                           レプリカの割り当て、および/または           
                                           トピックの構成。         
--config <文字列: name=value> トピック設定のオーバーライド 
                                           トピックが作成または変更されています。   
                                           以下は有効なリストです         
                                           構成:                      
                                         	クリーンアップポリシー                        
                                         	圧縮タイプ                      
                                         	削除.保持.ms                   
                                         	ファイル削除遅延ms                  
                                         	メッセージをフラッシュする                        
                                         	フラッシュ.ms                              
                                         	フォロワー.レプリケーション.スロットル。       
                                           レプリカ                             
                                         	インデックス間隔バイト                  
                                         	リーダー.レプリケーション.スロットル.レプリカ 
                                         	最大メッセージバイト数                     
                                         	メッセージ形式バージョン                
                                         	メッセージタイムスタンプの差の最大ミリ秒   
                                         	メッセージ.タイムスタンプ.タイプ                
                                         	最小洗浄可能ダーティ比率             
                                         	最小圧縮ラグ（ミリ秒）                 
                                         	最小同期レプリカ数                   
                                         	事前割り当て                           
                                         	保持バイト                       
                                         	保持.ms                          
                                         	セグメント.バイト                         
                                         	セグメント.インデックス.バイト                   
                                         	セグメント.jitter.ms                     
                                         	セグメント.ms                            
                                         	不潔なリーダー選挙を有効にする        
                                         詳細はKafkaのドキュメントをご覧ください   
                                           トピック構成の詳細。        
--create 新しいトピックを作成します。                    
--delete トピックを削除する                         
--delete-config <文字列: 名前> 削除するトピック設定の上書き   
                                           既存のトピックから削除されました（   
                                           設定のリスト 
                                           --config オプション)。                    
--describe 指定されたトピックの詳細を一覧表示します。     
--disable-rack-aware ラック対応レプリカ割り当てを無効にする  
--force コンソールプロンプトを抑制               
--help 使用方法情報を出力します。               
--if-exists 変更または削除時に設定されている場合       
                                           トピックの場合、アクションは 
                                           トピックが存在する場合                  
--if-not-exists トピック作成時に設定した場合、       
                                           アクションは、      
                                           トピックはまだ存在しません         
--list 利用可能なすべてのトピックを一覧表示します。             
--partitions <整数: パーティション数> トピックのパーティション数 
                                           作成または変更中（警告：   
                                           パーティションが増加すると、    
                                           キーを持つトピック、パーティション  
                                           メッセージのロジックまたは順序    
                                           影響を受ける                     
--replica-assignment <文字列: ブローカーへのパーティションの手動割り当てのリスト   
  broker_id_for_part1_replica1 : トピックの割り当て      
  broker_id_for_part1_replica2 が作成または変更されました。                  
  ブローカーID_for_part2_replica1:                                                
  broker_id_for_part2_replica2 、...>                                           
--replication-factor <整数: 各レプリケーション係数        
  作成中のトピック内のレプリケーション係数>パーティション。
--topic <文字列: topic> 作成、変更、または       
                                           記述してください。通常の  
                                           --create オプション以外の式
--topics-with-overrides トピックを記述するときに設定されている場合のみ    
                                           上書きされたトピックを表示する     
                                           構成                              
--unavailable-partitions トピックを記述するときに設定されている場合のみ    
                                           リーダーがいないパーティションを表示する  
                                           利用可能                            
--under-replicated-partitions トピックを記述するときに設定されている場合のみ    
                                           複製されたパーティションの下に表示     
--zookeeper <文字列: urls> 必須: 接続文字列    
                                           フォーム内の飼育係の接続 
                                           ホスト:ポート。複数のURLを指定できる      
                                           フェイルオーバーを許可するために与えられます。            
[root@master1 bin]# 

# 既存のトピックを一覧表示する [root@master1 ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# リーダー パーティションであり、フォロワー パーティションのレプリカを持たない 1 つのパーティションを含むトピックを作成します。
[root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_test --partitions 1 --replication-factor 1
# パーティション情報を表示 [root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 指定されたトピックの詳細情報を表示します [root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_test 
# 指定されたトピックを削除します [root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_test 

# コンシューマーを有効にする [root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_test 
# コンシューマー モード 2 を開始し、オフセットではなく最初から消費します [root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_test --from-beginning

# プロデューサーを開く [root@node1 ~]# kafka-console-producer.sh --topic topic_test --broker-list localhost:9020