Linux で nohup ログ出力が大きすぎる問題の解決方法の詳細な説明

Linux で nohup ログ出力が大きすぎる問題の解決方法の詳細な説明

最近、hadoop テスト クラスターで spark ストリーミング プログラムを実行し、その後、nohup ./execute.sh & を使用してプログラムをバックグラウンドで実行しました。わずか数日で、ログ ファイルが G を超えました。問題が発生してログ ファイルを表示したい場合、ファイルを開くのは明らかに面倒なことですので、次の方法でファイル サイズを縮小しようとしました。

1. nohupコマンドの説明:

a. 構文: nohup [コマンド] [引数] [&]

b. 説明: nohup コマンドは、Command パラメータと関連する Arg パラメータで指定されたコマンドを実行し、すべてのハングアップ信号を無視します。ログアウト後にプログラムをバックグラウンドで実行するには、nohup コマンドを使用します。 nohup コマンドをバックグラウンドで実行するには、コマンドの末尾に & (「and」の記号) を追加します。リダイレクトを指定しない場合、ログはデフォルトで現在のディレクトリの nohup.out ファイルに出力されます。

一般的には次のように送信します: nohup ./execute.sh & ログまたは出力が現在実行中のディレクトリにあるようにします。nohup.out

リダイレクト: nohup ./execute.sh > /home/xxx/log.log 2>&1 & : この方法では、ログは指定されたディレクトリにリダイレクトされます。

2. nohup.outを分割して無制限に大きくなるのを防ぐ

ここで使用する一般的な送信コマンドは、nohup ./execute.sh & です。これにより、現在のディレクトリに nohup.out ファイルが作成されます。この時点で、nohup.out を定期的に複数の小さなファイルに分割する方法を見つけることができますが、同時に nohup.out が無制限に大きくならないようにしてください (通常、プログラムを中断することはできません)。

a. 毎日(必要に応じて時間を設定)、前日のログを定期的に分割します(たとえば、1日あたり約1gの場合、1回あたり約100mに分割できます)。

b. 分割後、新しい出力ログが引き続きnohup.outに出力されるように、nohup.outファイルが保存されます。

上記はシェル内

current_date=`日付 -d "-1 日" "+%Y%m%d"`

split -b 65535000 -d -a 4 nohup.out ./log/log_${current_date}_ ここで、split コマンドは、nouhup ファイルを指定されたサイズ (65535000b は約 60 MB で、サイズはカスタマイズできます) に従って分割し、指定された形式 (0000 から始まる 4 桁のサフィックスを持つ -d -a 4、詳細については、Baidu の split コマンドの使用方法を参照してください) に分割するために使用され、最終的な出力形式は log_20160610_0001 です。

cat /dev/null > nohup.out (このコマンドはnohup.outファイルを即座にクリアし、後でファイルに書き込みを続けます)、ログを/dev/nullに送信します。

リダイレクトされた出力を使用しても同じことができますが、代わりにリダイレクトされたファイル名が使用されます。

これらのコマンドをシェル ファイルで定義し、毎日定期的に実行します。こうすることで、毎日のログが複数の部分に分割され、トラブルシューティングやログ バックログが大きすぎる場合に便利です。履歴ログを定期的に削除し、過去数日分のログのみを保持することができます。

全体的なコードは次のとおりです。

this_path=$(cd `dirname $0`;pwd)
 
$this_path を cd
$this_path をエコーする
current_date=`日付 -d "-1 日" "+%Y%m%d"`
$current_date をエコーする
分割 -b 65535000 -d -a 4 /home/.../nohup.out /home/.../log/log_${current_date}_
 
cat /dev/null > nohup.out

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • Linux nohup はプログラムをバックグラウンドで実行し、表示します (nohup と &)
  • Python Nohup Linux バックグラウンド実行出力の問題を解決する
  • PHP デーモン プロセスと Linux コマンド nohup を組み合わせて、1 秒に 1 回のタスク実行を実装します。
  • Linux のバックグラウンドで & と nohup を使用する方法
  • Linux nohup と tail-f の使い方
  • Linux での Nohup とバックグラウンド実行プロセスの表示と終了

<<:  画像のシームレスなスクロールを実現する JavaScript タイマー

>>:  Mysql は非集計列を選択できません

推薦する

CentOS の起動時に RabbitMq ソフトウェアを自動的に起動する方法

1. /etc/init.dディレクトリに新しいrabbitmqを作成します。 [root@loca...

MySQL全文インデックスの原理と欠点

MySQL フルテキスト インデックスは、特定のテーブルの特定の列に表示されるすべての単語のリストを...

Dockerコンテナでyumを呼び出すときのエラーの解決方法

dockerfile またはコンテナ内で yum を実行すると、エラーが報告され、ソースが見つかりま...

MySQL GROUP_CONCAT 制限の解決

効果: GROUP_CONCAT関数は、フィールド値を文字列に連結することができます。デフォルトの区...

HTML インライン要素と HTML ブロックレベル要素の概要と違い

ブロックレベル要素の機能: • 常に新しい行から始まり、それ自体で 1 行を占め、後続の要素も新しい...

ベースタグとは何ですか? また、それは何をするのですか?

<base> タグは、ページ上のすべてのリンクのデフォルトのアドレスまたはデフォルトの...

Ubuntuがネットワークに接続できない場合の解決策

仮想マシン内の Ubuntu がネットワークに接続できない場合の効果的な解決策: 1. Ubuntu...

vue+tp5はシンプルなログイン機能を実現

この記事では、参考までに、簡単なログイン機能を実装するためのvue+tp5の具体的なコードを紹介しま...

Docker が elasticsearch を起動するときのメモリ不足の問題と解決策

質問Docker が elasticsearch をインストールして起動するときにメモリが不足するシ...

JavaScript ではおそらく switch 文を使う必要はない

目次スイッチも複雑なコードブロックもありませんPythonからのインスピレーション辞書を使用してスイ...

Nginx ルーティング転送とリバースプロキシロケーション構成の実装

Nginx を設定する 3 つの方法最初の方法は、位置一致部分を直接置き換える。 2 番目の pro...

MySQL で単一のフィールド内の複数の値を分割および結合する方法

複数の値を組み合わせて表示これで、図1から図2に示す要件が揃いました。 どうやってやるんですか?次の...

Linux で scp コマンドを使用してファイルをリモートでコピーする方法の詳細な説明

序文scp は secure copy の略です。scp は、Linux システムの ssh ログイ...

HTML 基本要約推奨事項 (タイトル)

HTML: タイトル見出しは <h1> - <h6> などのタグによって定...

JavaScript を使用した Web 計算機の作成

この記事は主にJavaScriptを使用してWeb計算機を実現する効果を記録し、参考として掲載してい...