マルチコア CPU を使用して Linux コマンドを高速化する方法 (GNU Parallel)

マルチコア CPU を使用して Linux コマンドを高速化する方法 (GNU Parallel)

非常に大量のデータ(数百 GB)を計算する必要があったことはありますか?または、その内部を検索したり、その他の操作(並列化できないもの)を実行したりします。データの専門家の皆さん、私はあなたに話しかけています。 4 コア以上の CPU をお持ちの場合でも、grep、bzip2、wc、awk、sed などの適切なツールはシングルスレッドであり、1 つの CPU コアしか使用できません。

漫画のキャラクター、カートマンのセリフを言い換えると、「これらのコアをどうやって使うのか?」

Linux コマンドですべての CPU コアを使用するには、GNU Parallel コマンドを使用する必要があります。このコマンドを使用すると、すべての CPU コアが単一のマシンで魔法のようなマップ削減操作を実行できるようになります。もちろん、これには、あまり使用されない –pipes パラメーター (–spreadstdin とも呼ばれます) も必要です。こうすることで、負荷は CPU 間で均等に分散されます。

ZIP2形式

bzip2 は gzip よりも優れた圧縮ツールですが、速度が遅いです。心配しないでください。この問題を解決する方法があります。

これまでの練習:

cat bigfile.bin | bzip2 --best > 圧縮ファイル.bz2

今はこんな感じです:

cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2

特に bzip2 の場合、GNU parallel はマルチコア CPU 上で非常に高速です。気がつけば、終わっていました。

グレップ

非常に大きなテキスト ファイルがある場合は、以前に次の操作を行ったことがあるかもしれません。

grep パターン bigfile.txt

今、次のことができるようになりました:

cat bigfile.txt | parallel --pipe grep 'パターン'

または、次のようになります。

cat bigfile.txt | parallel --block 10M --pipe grep 'パターン'

この 2 番目の使用法では、--block 10M パラメータが使用されています。これは、各コアが 1,000 万行を処理することを意味します。このパラメータを使用して、各 CPU コアで処理されるデータの行数を調整できます。

AWK

以下は、awk コマンドを使用して非常に大きなデータ ファイルを計算する例です。

一般的な使用法:

cat rands20M.txt | awk '{s+=$1} END {print s}'

今はこんな感じです:

cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}'

これは少し複雑です。parallel コマンドの --pipe パラメータは、cat 出力を複数のブロックに分割し、awk 呼び出しにディスパッチして、多くのサブ計算操作を形成します。これらのサブ計算は、2 番目のパイプラインを介して同じ awk コマンドにパイプされ、最終結果が出力されます。最初の awk には 3 つのバックスラッシュがあり、これは GNU parallel が awk を呼び出すために必要です。

トイレ

ファイル内の行数をできるだけ早くカウントしたいですか?

従来のアプローチ:

wc -l ビッグファイル.txt

これで次のようになります:

cat bigfile.txt | parallel --pipe wc -l | awk '{s+=$1} END {print s}'

非常に巧妙です。まず、並列コマンドを使用して、多数の wc -l 呼び出しをサブ計算に「マップ」し、最後にパイプを介して awk に送信して集計します。

翻訳

巨大なファイル内で sed コマンドを使用して多数の置換操作を実行したいですか?

従来の慣行:

sed s^old^new^g bigfile.txt

次のことが可能になります:

cat bigfile.txt | parallel --pipe sed s^old^new^g

…そしてパイプを使用して出力を特定のファイルに保存できます。

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • 15 分で学べる並列アーティファクト GNU Parallel 入門ガイド

<<:  MySQL Community Server 5.7.16 のグリーン バージョンをインストールしてリモート ログインを実装する方法

>>:  ReactのEffectListの簡単な分析

推薦する

MySQL 5.7 以降のバージョンのダウンロードとインストールのグラフィック チュートリアル

1. ダウンロード1. MySQL公式サイトのダウンロードアドレス: https://downloa...

sqlmap インジェクションの詳細なグラフィック説明

目次1. この Web サイトには SQL インジェクションの脆弱性がある可能性があることが判明しま...

Vue フィルターの実装と適用シナリオの詳細な説明

1. 簡単な紹介Vue.js を使用すると、一般的なテキストの書式設定に使用できる独自のフィルターを...

Vueのsync修飾子の詳細な説明

目次1. 手順2. 修飾語3. .sync 修飾子4. まとめ1. 手順指示とは命令です。文字通りの...

APPログインインターフェースシミュレーション要求を実装するためのPostmanデータ暗号化と復号化

目次主に使用されるPostmanの機能データの暗号化と復号化さまざまなパラメータ設定実際に送信された...

コンピュータが予期せずシャットダウンした後、VMware で Linux がインターネットに接続できない問題の解決策

問題の説明: Linux システムのネットワーク カード ファイル /etc/sysconfig/n...

MySQL の int、char、varchar のパフォーマンスを比較する

インターネットには、真実のように見える「噂」がたくさんあります。もちろん、悪意のあるものではありませ...

jsネイティブ構文プロトタイプ、__proto__、コンストラクタの徹底的な理解

目次1 はじめに2 前提条件2.1 データ型2.2 それが自身のプロパティであるかどうかを判断する ...

Vue フロントエンド開発における階層的にネストされたコンポーネント間の通信の詳細な説明

目次序文例まとめ序文Vue の親子コンポーネントは、props を通じて親コンポーネントの値を子コン...

Linux の sudo 脆弱性により不正な特権アクセスが発生する可能性がある

Linux で新たに発見された sudo の脆弱性を悪用すると、特定のユーザーが root としてコ...

Dockerボリュームマウントの実装方法

最も単純な hello world 出力イメージを作成することは最も簡単なスタートですが、実行中のコ...

mysql 5.7.23 winx64 解凍バージョンのインストールチュートリアル

参考までに、mysql-5.7.23-winx64 解凍版の詳細なインストールチュートリアルです。具...

MySQL テーブルを返すとインデックスが無効になるケースの説明

導入MySQL InnoDB エンジンがレコードをクエリし、インデックス カバレッジを使用できない場...

JavaScript の高度なプログラミングの基本参照型

目次1. 日付2. 正規表現3. オリジナルパッケージタイプ序文:参照値(オブジェクト)は、 Dat...

Docker デプロイメント Springboot プロジェクト例の分析

この記事は主に、docker デプロイメント springboot プロジェクトのサンプル分析を紹介...