マルチコア CPU を使用して Linux コマンドを高速化する方法 (GNU Parallel)

非常に大量のデータ（数百 GB）を計算する必要があったことはありますか?または、その内部を検索したり、その他の操作（並列化できないもの）を実行したりします。データの専門家の皆さん、私はあなたに話しかけています。 4 コア以上の CPU をお持ちの場合でも、grep、bzip2、wc、awk、sed などの適切なツールはシングルスレッドであり、1 つの CPU コアしか使用できません。

漫画のキャラクター、カートマンのセリフを言い換えると、「これらのコアをどうやって使うのか？」

Linux コマンドですべての CPU コアを使用するには、GNU Parallel コマンドを使用する必要があります。このコマンドを使用すると、すべての CPU コアが単一のマシンで魔法のようなマップ削減操作を実行できるようになります。もちろん、これには、あまり使用されない –pipes パラメーター (–spreadstdin とも呼ばれます) も必要です。こうすることで、負荷は CPU 間で均等に分散されます。

ZIP2形式

bzip2 は gzip よりも優れた圧縮ツールですが、速度が遅いです。心配しないでください。この問題を解決する方法があります。

これまでの練習:

cat bigfile.bin | bzip2 --best > 圧縮ファイル.bz2

今はこんな感じです:

cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2

特に bzip2 の場合、GNU parallel はマルチコア CPU 上で非常に高速です。気がつけば、終わっていました。

グレップ

非常に大きなテキスト ファイルがある場合は、以前に次の操作を行ったことがあるかもしれません。

grep パターン bigfile.txt

今、次のことができるようになりました:

cat bigfile.txt | parallel --pipe grep 'パターン'

または、次のようになります。

cat bigfile.txt | parallel --block 10M --pipe grep 'パターン'

この 2 番目の使用法では、--block 10M パラメータが使用されています。これは、各コアが 1,000 万行を処理することを意味します。このパラメータを使用して、各 CPU コアで処理されるデータの行数を調整できます。

AWK

以下は、awk コマンドを使用して非常に大きなデータ ファイルを計算する例です。

一般的な使用法:

cat rands20M.txt | awk '{s+=$1} END {print s}'

今はこんな感じです:

cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}'

これは少し複雑です。parallel コマンドの --pipe パラメータは、cat 出力を複数のブロックに分割し、awk 呼び出しにディスパッチして、多くのサブ計算操作を形成します。これらのサブ計算は、2 番目のパイプラインを介して同じ awk コマンドにパイプされ、最終結果が出力されます。最初の awk には 3 つのバックスラッシュがあり、これは GNU parallel が awk を呼び出すために必要です。

トイレ

ファイル内の行数をできるだけ早くカウントしたいですか?

従来のアプローチ:

wc -l ビッグファイル.txt

これで次のようになります:

cat bigfile.txt | parallel --pipe wc -l | awk '{s+=$1} END {print s}'

非常に巧妙です。まず、並列コマンドを使用して、多数の wc -l 呼び出しをサブ計算に「マップ」し、最後にパイプを介して awk に送信して集計します。

翻訳

巨大なファイル内で sed コマンドを使用して多数の置換操作を実行したいですか?

従来の慣行:

sed s^old^new^g bigfile.txt

次のことが可能になります:

cat bigfile.txt | parallel --pipe sed s^old^new^g

…そしてパイプを使用して出力を特定のファイルに保存できます。

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。