非常に大量のデータ(数百 GB)を計算する必要があったことはありますか?または、その内部を検索したり、その他の操作(並列化できないもの)を実行したりします。データの専門家の皆さん、私はあなたに話しかけています。 4 コア以上の CPU をお持ちの場合でも、grep、bzip2、wc、awk、sed などの適切なツールはシングルスレッドであり、1 つの CPU コアしか使用できません。 漫画のキャラクター、カートマンのセリフを言い換えると、「これらのコアをどうやって使うのか?」 Linux コマンドですべての CPU コアを使用するには、GNU Parallel コマンドを使用する必要があります。このコマンドを使用すると、すべての CPU コアが単一のマシンで魔法のようなマップ削減操作を実行できるようになります。もちろん、これには、あまり使用されない –pipes パラメーター (–spreadstdin とも呼ばれます) も必要です。こうすることで、負荷は CPU 間で均等に分散されます。 ZIP2形式 bzip2 は gzip よりも優れた圧縮ツールですが、速度が遅いです。心配しないでください。この問題を解決する方法があります。 これまでの練習: cat bigfile.bin | bzip2 --best > 圧縮ファイル.bz2 今はこんな感じです: cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2 特に bzip2 の場合、GNU parallel はマルチコア CPU 上で非常に高速です。気がつけば、終わっていました。 グレップ 非常に大きなテキスト ファイルがある場合は、以前に次の操作を行ったことがあるかもしれません。 grep パターン bigfile.txt 今、次のことができるようになりました: cat bigfile.txt | parallel --pipe grep 'パターン' または、次のようになります。 cat bigfile.txt | parallel --block 10M --pipe grep 'パターン' この 2 番目の使用法では、--block 10M パラメータが使用されています。これは、各コアが 1,000 万行を処理することを意味します。このパラメータを使用して、各 CPU コアで処理されるデータの行数を調整できます。 AWK 以下は、awk コマンドを使用して非常に大きなデータ ファイルを計算する例です。 一般的な使用法: cat rands20M.txt | awk '{s+=$1} END {print s}' 今はこんな感じです: cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}' これは少し複雑です。parallel コマンドの --pipe パラメータは、cat 出力を複数のブロックに分割し、awk 呼び出しにディスパッチして、多くのサブ計算操作を形成します。これらのサブ計算は、2 番目のパイプラインを介して同じ awk コマンドにパイプされ、最終結果が出力されます。最初の awk には 3 つのバックスラッシュがあり、これは GNU parallel が awk を呼び出すために必要です。 トイレ ファイル内の行数をできるだけ早くカウントしたいですか? 従来のアプローチ: wc -l ビッグファイル.txt これで次のようになります: cat bigfile.txt | parallel --pipe wc -l | awk '{s+=$1} END {print s}' 非常に巧妙です。まず、並列コマンドを使用して、多数の wc -l 呼び出しをサブ計算に「マップ」し、最後にパイプを介して awk に送信して集計します。 翻訳 巨大なファイル内で sed コマンドを使用して多数の置換操作を実行したいですか? 従来の慣行: sed s^old^new^g bigfile.txt 次のことが可能になります: cat bigfile.txt | parallel --pipe sed s^old^new^g …そしてパイプを使用して出力を特定のファイルに保存できます。 以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。 以下もご興味があるかもしれません:
|
<<: MySQL Community Server 5.7.16 のグリーン バージョンをインストールしてリモート ログインを実装する方法
1. ダウンロード1. MySQL公式サイトのダウンロードアドレス: https://downloa...
目次1. この Web サイトには SQL インジェクションの脆弱性がある可能性があることが判明しま...
1. 簡単な紹介Vue.js を使用すると、一般的なテキストの書式設定に使用できる独自のフィルターを...
目次1. 手順2. 修飾語3. .sync 修飾子4. まとめ1. 手順指示とは命令です。文字通りの...
目次主に使用されるPostmanの機能データの暗号化と復号化さまざまなパラメータ設定実際に送信された...
問題の説明: Linux システムのネットワーク カード ファイル /etc/sysconfig/n...
インターネットには、真実のように見える「噂」がたくさんあります。もちろん、悪意のあるものではありませ...
目次1 はじめに2 前提条件2.1 データ型2.2 それが自身のプロパティであるかどうかを判断する ...
目次序文例まとめ序文Vue の親子コンポーネントは、props を通じて親コンポーネントの値を子コン...
Linux で新たに発見された sudo の脆弱性を悪用すると、特定のユーザーが root としてコ...
最も単純な hello world 出力イメージを作成することは最も簡単なスタートですが、実行中のコ...
参考までに、mysql-5.7.23-winx64 解凍版の詳細なインストールチュートリアルです。具...
導入MySQL InnoDB エンジンがレコードをクエリし、インデックス カバレッジを使用できない場...
目次1. 日付2. 正規表現3. オリジナルパッケージタイプ序文:参照値(オブジェクト)は、 Dat...
この記事は主に、docker デプロイメント springboot プロジェクトのサンプル分析を紹介...