1. ビッグデータとHadoop ビッグデータについて研究し学ぶには、当然 Hadoop から始める必要があります。 Hadoop は単純なソフトウェアではなく、一連のソフトウェアによって形成されるエコシステムです。その中核となるアイデアは、もともと Google が公開した 3 つの論文に由来し、後にオープンソースとして実装されました。Google の実装と Hadoop の実装の対応は、おおよそ次のようになります。 Google Map/Reduce <---> Hadoop MapReduce Google GFS <---> Hadoop HDFS Google BigTable <---> Hadoop HBase Hadoop エコシステムのすべてのコンポーネントは Linux 環境で実行されるため、当然ながら最初に Linux 環境を構築する必要があります。さらに、Hadoop は分散型であるため、「ビッグ」データを処理できます。分散コンピューティングを使用してサーバー クラスターを構築し、必要に応じて拡張できます。学習の目的で、まず仮想マシンを使用してローカル コンピューター上に Linux 環境を構築します。クラスター環境をモデル化するには、さらにいくつかの仮想マシンを作成できます。 このツールを使用するには、複数の仮想マシンを作成する必要があるため、コンピューターのメモリは 8G 以上である必要があります。Hadoop を実行するには通常、仮想マシンに 2G が必要であり、3 つの仮想マシンを開くと大量のメモリが消費されるためです。 ただし、初期の段階では学習のために各仮想マシンに 1G のメモリのみを割り当て、不足する場合は後で調整できるようにしました。 2. VirtualBox を選ぶ理由 仮想マシンといえば、まず思い浮かぶのは有名な VMware です。 VMware は古い仮想マシン ソフトウェアであり、オンライン上に多くのチュートリアルがあります。私が VirtualBox を選んだ理由は、主にライセンスの問題でした。 私はMacBook Proしか持っていないので、ソフトウェアライセンスにあまり時間をかけたくないので、無料のVirtualBoxを選択しました。VirtualBoxのインストールプロセスは目立ったものではなく、単なる定型的な操作なので、詳細には触れません。 3. 仮想マシンにCentOSをインストールする 先ほども述べたように、私のメインのコンピュータは MacBook Pro です。便宜上、Parallel Desktop を使用して Windows マシンを仮想化しましたが、ここでは説明しません。 Linux システムとして CentOS を選択しました。まず、CentOS の公式サイトからシステムの ISO ファイルをダウンロードします。 VirtualBoxで新しい仮想マシンを作成し、タイプとしてLinuxを選択し、任意のバージョンを選択します。CentOSは見当たりませんが、どれを選んでも大丈夫です。 インストールするものが増えるにつれて仮想マシンのファイルがどんどん大きくなる可能性があるため、仮想マシンのファイルが保存されるフォルダーを選択するのが最善です。コンピュータのハードドライブがほぼいっぱいになったので、外付けハードドライブを接続して仮想マシンのファイルをそこに保存しました。必要なときに接続できます。便利ではありませんが、これで間に合わせなければなりません。 その他のパラメータはデフォルトのままにしておきます。仮想マシンが正常に作成されたら、「設定」をクリックし、「ストレージ」に切り替えて、光学ドライブにダウンロードした CentOS システム ISO ファイルを選択します。仮想マシンが起動したら、CentOS のインストールに入ることができます。 CentOS7 オペレーティング システムのインストールについては説明する必要はありません。グラフィカル インターフェイスなので難しくありません。 4. ネットワーク環境の設定で発生した問題 Linux が正常にインストールされた後のネットワーク設定について話す必要があります。ここで多くの問題が発生しました。私のネットワーク環境もこのようになるといいのですが。まず、Linux 仮想マシンがインターネットに接続できるようになり、将来的にコンポーネントをダウンロードする際に便利になることを期待しています。次に、ホストマシン (MacBook) から Linux 仮想マシンにアクセスして、ssh 経由でログインできるようにしたいと考えています。 VirtualBox のデフォルトの小さなウィンドウは本当に小さくて目が回ります。拡大することもできますが、ホストの下で操作する方が便利なので、MacBook から ssh で接続する必要があります。ただし、CentOS はインストール直後はインターネットに接続できないため、関連する設定が必要になりますのでご注意ください。 4.1 Linux仮想マシンがインターネットに接続する デフォルトでは、仮想マシンのネットワーク設定で「ネットワーク アドレス変換 NAT」を選択でき、仮想マシンは NAT ネットワークを作成します。 仮想マシンをインストールした後、デフォルトではネットワークがオンになっていないため、インターネットに接続できません。仮想マシンを起動し、ログイン後にネットワーク構成を変更する必要があります。 vi /etc/sysconfig/ネットワークスクリプト/ifcfg-enp0s3 Linux の起動後にネットワークを開始できるように、ONBOOT を yes に変更します。 変更を加えたら、ESC キーを押してから :wq キーを押して終了し、保存します。変更を有効にするためにネットワーク サービスを再起動する必要はありません。 この時点で、コマンド ``` ip addr``` で確認すると、ネットワークにすでに IP アドレスが割り当てられていることがわかります。たとえば、私の IP アドレスは 10.0.2.15 です。図に示すように: ここで、 4.2 ホストMacbookからLinux仮想マシンにアクセスする さらに、ホスト Macbook からアドレスに ping できないため、ホストは仮想マシンにアクセスできません。ホスト MacBook と仮想マシン Linux が相互に通信するには、2 台のマシンが同じネットワーク セグメント内にある必要があります。 VirtualBox の「管理」メニューで、「ホスト ネットワーク マネージャー」を開いて作成します。図に示すように、仮想ネットワーク カード 192.168.56.1 が作成されていることがわかります。 このとき、MacBookターミナルでifconfigコマンドを使用すると、IPアドレスが192.168.56.1のvboxnet0ネットワークカードが追加されていることがわかります。
次に、VirtualBox の対応する仮想マシン設定にネットワーク カードを追加する必要があります。2. 「ホストオンリー ネットワーク」を選択します。インターフェイス名は前述のとおり vboxnet0 です。 次に、仮想マシンにログインし、「ip addr」コマンドを使用して確認すると、追加のネットワーク カード enp0s8 が見つかります。 enp0s3 からコピーしてこのファイルを編集し、今回は固定 IP アドレスに変更します。 cp /etc/sysconfig/network-scripts/ifcfg-enp0s3 /etc/sysconfig/network-scripts/ifconfig-enp0s8 次に、「systemctl restart network」でネットワークを再起動します。これで、ホスト Macbook から仮想マシンにアクセスできるようになります。 4.3 Linuxファイアウォールをオフにする 上記の設定から、ホスト MacBook の IP アドレスは 192.168.56.1 であり、仮想マシン Linux の静的アドレスは 192.168.56.100 に設定されていることがわかります。これで、同じネットワーク セグメント内にあり、相互に ping を実行できるはずです。 ping できない場合は、ファイアウォールの問題である可能性があります。 まず、MacBook のファイアウォールをオフにします。 次に、Linux 仮想マシンのファイアウォールもオフになっていることを確認します。ファイアウォールはデフォルトでオンになっています。 sshサービスを確認してください。デフォルトで開いているはずです。 これで、Mac のターミナルから Linux に SSH 接続できるようになります。 要約する 上記は、VirtualBox を使用して Mac 上にローカル仮想マシン環境を構築する方法について紹介したものです。お役に立てれば幸いです。ご質問がある場合は、メッセージを残してください。すぐに返信いたします。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。この記事が役に立ったと思われた方は、ぜひ転載していただき、出典を明記してください。ありがとうございます! 以下もご興味があるかもしれません:
|
<<: Windows で MySQL インストーラーを使用して MySQL サービスをインストールするチュートリアル図
>>: JavaScriptはフォームデータの非同期送信を実装します
Linuxアラーム機能の紹介上記のコード: #include <stdio.h> #in...
Windows 10 プラットフォームでの MySQL のインストール、構成、起動、ログイン、環境...
[LeetCode] 182.重複メールPerson という名前のテーブル内のすべての重複メールを...
目次構造継承(callで実装)プロトタイプチェーン継承(プロトタイプチェーンの助けを借りて実装)複合...
0x0 テスト環境本社本番サーバーと支社バックアップサーバーはリモートデータバックアップが必要です...
目次1. コンポーネント通信1. Props 親コンポーネント ---> 子コンポーネント通信...
Tomcat は内部的に複数の ClassLoader を定義し、アプリケーションとコンテナーが異な...
インターネット上には多くのインポート方法があり、公式も3つのインポート方法を提供していますが、インポ...
類似の構造:コードをコピーコードは次のとおりです。 <div></div>&...
コアコード -- 以下では、MySQLでのソート列の実装を示します -- テストデータ CREATE...
目次文字列の長さ: 長さcharAt() charCodeAt()文字列に値が含まれているかどうかを...
読み取り専用入力を実現するには、無効と読み取り専用の 2 つの方法があります。当然、どちらの結果も読...
序文最近、CentOS 7 で MySQL 5.7.23 をアップグレードする際に落とし穴を発見しま...
目次クイックスタート使い方基本原則Vue2.x はコンポーネント通信に EventBus を使用しま...
目次序文使い方要約する序文Vue にはコードの再利用に使われる mixins という設定項目がありま...