新しい設定ファイルを作成します (たとえば、nginx インストール ディレクトリの下の conf ディレクトリに移動し、agent_deny.conf を作成します) Scrapyなどのツールによるクロールを無効にする if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } 指定されたUAまたは空のUAによるアクセスを禁止する #禁止のスクレイピー $http_user_agent の場合、(Scrapy|Curl|HttpClient) { 403 を返します。 } #禁止されたUA if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) { 403 を返します。 } #GET|HEAD|POST メソッドによるアクセスは禁止 ($request_method !~ ^(GET|HEAD|POST)$) の場合 { 403 を返します。 } 次に、Web サイト構成のサーバー セクションに次のコードを挿入します: include agent_deny.conf; nginxを再起動します。 /data/nginx/sbin/nginx -s リロード クローリングをシミュレートするために curl -A を使用してテストを実行できます。例: curl -I -A 'YYSpider' <<www.xxx.con>> 結果
空の UA でクロールをシミュレートします。 curl -I -A' ' <<www.xxx.cn>> 結果
Baiduスパイダーのクローリングをシミュレートします。 curl -I -A 'Baiduspider' <<<www.xxx.cn>>>
UAタイプ FeedDemon コンテンツ コレクション BOT/0.1 (JCE 用 BOT) SQL インジェクション CrawlDaddy SQL インジェクション Java コンテンツ コレクション Jullo コンテンツ コレクション Feedly コンテンツ コレクション UniversalFeedParser コンテンツ コレクション ApacheBench cc 攻撃者 Swiftbot 役に立たないクローラー YandexBot 役に立たないクローラー AhrefsBot 役に立たないクローラー YisouSpider 役に立たないクローラー (UC Shenma Search に買収されました。このスパイダーはリリースできます!) jikeSpider 役に立たないクローラーMJ12bot 役に立たないクローラーZmEu phpmyadmin 脆弱性スキャンWinHttp コレクションcc 攻撃EasouSpider 役に立たないクローラーHttpClient tcp 攻撃Microsoft URL コントロール スキャンYYSpider 役に立たないクローラーjaunty wordpress ブラスト スキャナーoBot 役に立たないクローラーPython-urllib コンテンツ コレクションIndy ライブラリ スキャンFlightDeckReports Bot 役に立たないクローラーLinguee Bot 役に立たないクローラー Nginx アンチホットリンク設定 背景: サードパーティの参照リンクが画像にアクセスしてサーバーのリソースとネットワーク トラフィックを消費するのを防ぐために、サーバー上でホットリンク防止制限を行うことができます。 アンチホットリンクを実現するための方法を参照 動作モジュール: ngx_http_referer_module。 有効な変数: $invalid_referer、グローバル変数。 構成ドメイン: サーバー、場所 構成: サーバー{ 聞く 80; サーバー名 www.imcati.com refer-test.imcati.com; ルート /usr/share/nginx/html; 場所 ~*\.(gif|jpg|jpeg|png|bmp|swf)$ { valid_referers なし、www.imcati.com がブロックされました。 ($invalid_referer) の場合 { 403 を返します。 } } }
nginx アンチホットリンクとアンチクローラーの詳細な設定に関するこの記事はこれで終わりです。より関連性の高い nginx アンチホットリンクとアンチクローラーの設定内容については、123WORDPRESS.COM の以前の記事を検索するか、以下の関連記事を引き続き参照してください。皆様の今後の 123WORDPRESS.COM へのご支援をお待ちしております。 以下もご興味があるかもしれません:
|
<<: VueはEChartsを使用して折れ線グラフと円グラフを実装します
目次1. 環境整備2. データの準備3. ショーを始める4. 単語分割エンジン要約する参考文献1. ...
目次導入1. one-click.jsとは2. パッケージングツールはどのように機能しますか? 3....
タグの種類(表示モード) HTML タグは、一般的にブロック タグとインライン タグの 2 種類に分...
勉強中に読んだ本についてもよく聞かれます。以下は初心者におすすめの本です(私が勉強中に読んだ本です。...
序文Javaプログラミングでは、ほとんどのアプリケーションはMavenに基づいて構築されており、配信...
<a href="https://www.jb51.net/" title...
1. コンポーネントと実装機能Keepalived: Haproxy サービスの高可用性を実現し、...
背景まず、背景を説明します。ある制約により、当社の現在のバックアップ戦略では、1 日おきにフル バッ...
学ぶ内容1. ソフトウェアのインストールとサーバーの設定。 2. (オプションですが、強くお勧めしま...
目次例示する1. Dockerリモートアクセスを有効にする2. Dockerに接続する3. イメージ...
表示する svg 画像を追加すると、React はファイルが見つからないというメッセージを表示します...
コードをコピーコードは次のとおりです。 <meta name="viewport&q...
目次インストール: 1. ファイアウォールの基本的な使い方2. ファイアウォールd-cmdを設定する...
Web ページでは、基本的に <input type="file">...
目次序文【ログ取り消し】 【REDOログ】 【バイナリログ】要約する序文MySQL には、REDO ...