クローラー対策ポリシー ファイルを追加しました: vim /usr/www/server/nginx/conf/anti_spider.conf ファイルの内容 #Scrapyなどのツールによるクロールを無効にする if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { 403 を返します。 } # 指定された UA または空の UAif によるアクセスを無効にします ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { 403 を返します。 } #GET|HEAD|POST以外の方法によるクロールを無効にする if ($request_method !~ ^(GET|HEAD|POST)$) { 403 を返します。 } #単一のIPをブロックするコマンドは#deny 123.45.6.7です #123.0.0.1 から 123.255.255.254 までのセグメント全体をブロック#deny 123.0.0.0/8 #123.45.0.1 から 123.45.255.254 までの IP 範囲をブロックします #124.45.0.0/16 を拒否します #123.45.6.1から123.45.6.254までのIP範囲をブロックするコマンドは#deny 123.45.6.0/24です # 以下の IP はすべて不正です #deny 58.95.66.0/24; 構成の使用法 サイトのサーバーに導入する # クローラー対策には /usr/www/server/nginx/conf/anti_spider.conf を含める 最後にnginxを再起動します 有効かどうかを確認する YYSpiderのシミュレーション λ curl -X GET -I -A 'YYSpider' https://www.myong.top HTTP/1.1 200 接続が確立されました HTTP/2 403 サーバー: marco/2.11 日付: 2020年3月20日金曜日 08:48:50 GMT コンテンツタイプ: text/html コンテンツの長さ: 146 xソース: C/403 x-リクエストID: 3ed800d296a12ebcddc4d61c57500aa2 Baiduspiderをシミュレートする λ curl -X GET -I -A 'BaiduSpider' https://www.myong.top HTTP/1.1 200 接続が確立されました HTTP/2 200 サーバー: marco/2.11 日付: 2020年3月20日金曜日 08:49:47 GMT コンテンツタイプ: text/html 変化: Accept-Encoding xソース: C/200 最終更新日: 2020年3月18日水曜日 13:16:50 GMT 電子タグ: "5e721f42-150ce" x-リクエストID: e82999a78b7d7ea2e9ff18b6f1f4cc84 クローラーの一般的なユーザーエージェント FeedDemon コンテンツ コレクション BOT/0.1 (JCE 用 BOT) SQL インジェクション CrawlDaddy SQL インジェクション Java コンテンツ コレクション Jullo コンテンツ コレクション Feedly コンテンツ コレクション UniversalFeedParser コンテンツ コレクション ApacheBench cc 攻撃者 Swiftbot 役に立たないクローラー YandexBot 役に立たないクローラー AhrefsBot 役に立たないクローラー YisouSpider 役に立たないクローラー (UC Shenma Search に買収されました。このスパイダーはリリースできます!) jikeSpider 役に立たないクローラーMJ12bot 役に立たないクローラーZmEu phpmyadmin 脆弱性スキャンWinHttp コレクションcc 攻撃EasouSpider 役に立たないクローラーHttpClient tcp 攻撃Microsoft URL コントロール スキャンYYSpider 役に立たないクローラーjaunty wordpress ブラスト スキャナーoBot 役に立たないクローラーPython-urllib コンテンツ コレクションIndy ライブラリ スキャンFlightDeckReports Bot 役に立たないクローラーLinguee Bot 役に立たないクローラー 上記は、UA による Web サイトのクロールを防ぐための Nginx アンチクローラー戦略の詳細です。Nginx アンチクローラーの詳細については、123WORDPRESS.COM の他の関連記事をご覧ください。 以下もご興味があるかもしれません:
|
<<: MySQLのファジークエリのような遅い速度を解決する方法
>>: Web インタビュー: MVC と MVVM の違いと、Vue が MVVM に完全に準拠していない理由
目次概要1. 範囲エラー2. 参照エラー3. 構文エラー4. タイプエラー5. URIエラー6. 評...
長い移植と情報検索の期間を経て、組み込みDockerの問題を解決することができました。インターネット...
一般的なページング方法: 1. エスカレーター方式エスカレーター方式では通常、前のページ/次のページ...
1. 準備例: 2 台のマシン: 192.168.219.146 (マスター)、192.168.21...
目次序文データのシミュレーション結合されたデータ合併のアイデアコードの表示と分析最初のステップステッ...
目次序文接続管理追加の接続管理ポート要約する序文皆さんの多くは、次のようなエラー メッセージに遭遇し...
通常のプロジェクトでは、1 回の入札で同時にデータを更新および照会する必要があるという問題によく遭遇...
この記事の主な内容は次のとおりです。 1. 閉じるボタン2.キャレット3. フローティングを素早く設...
パート1: 基礎1. :active や :hover などの疑似クラスとは異なり、これらはすべて疑...
目次1. はじめに2. 使用1. vue2とvue3の違い2. ページ上の一部のデータはキャッシュす...
目次1. 日付2. 正規表現3. オリジナルパッケージタイプ序文:参照値(オブジェクト)は、 Dat...
Linux で Ctrl+c、Ctrl+d、Ctrl+z はどういう意味ですか? Ctrl+c と ...
序文div またはモジュールに overflow: scroll 属性を使用すると、iOS フォンで...
目次1. グローバルガード1.1 グローバルフロントガード1.2 グローバルポストルートガード1.3...
目次依存関係をインストールする構成使用1.アイコン検索ページに入る2. 使用したいアイコンの英語名を...