Robots.txtの詳細な紹介

Robots.txtの詳細な紹介

Robots.txt はプレーンテキスト ファイルであり、Web サイト管理者は、ロボットによるアクセスを禁止する Web サイトの一部を宣言したり、検索エンジンが特定のコンテンツのみをインデックスするように指定したりできます。 robots.txt の基本的な紹介
Robots.txt はプレーンテキスト ファイルであり、Web サイト管理者は、ロボットによるアクセスを禁止する Web サイトの一部を宣言したり、検索エンジンが特定のコンテンツのみをインデックスするように指定したりできます。
検索ロボット (検索スパイダーと呼ばれることもあります) がサイトを訪問すると、まずサイトのルート ディレクトリに robots.txt があるかどうかを確認します。存在する場合、検索ロボットはファイルの内容に応じてアクセス範囲を決定します。ファイルが存在しない場合、検索ロボットはリンクに沿ってクロールします。
さらに、robots.txt はサイトのルート ディレクトリに配置する必要があり、ファイル名はすべて小文字にする必要があります。
robots.txt の記述構文<br />まず、robots.txt の例を見てみましょう: http://www.csswebs.org/robots.txt
上記の特定のアドレスにアクセスすると、robots.txt の具体的な内容が次のように表示されます。
# http://www.csswebs.org の Robots.txt ファイル
# すべてのロボットがドメインをスパイダーします
ユーザーエージェント: *
許可しない:
上記のテキストは、すべての検索ロボットが www.csswebs.org サイトのすべてのファイルにアクセスできることを意味します。
特定の構文分析: # の後のテキストは説明情報です。User-agent: の後には検索ロボットの名前が続きます。* が続く場合は、すべての検索ロボットを参照します。Disallow: の後には、アクセスが許可されていないファイル ディレクトリが続きます。
以下に、robots.txt の具体的な使用例をいくつか挙げます。
すべてのロボットにアクセスを許可する
ユーザーエージェント: *
許可しない:
または、空のファイル「/robots.txt」を作成することもできます
すべての検索エンジンがサイトのどの部分にアクセスできないようにブロックする
ユーザーエージェント: *
許可しない: /
すべての検索エンジンがサイトのいくつかのセクション(以下の例ではディレクトリ 01、02、03)にアクセスするのをブロックします。

ユーザーエージェント: *
禁止: /01/
禁止: /02/
許可しない: /03/
検索エンジンへのアクセスをブロックする(下の例ではBadBot)
ユーザーエージェント: BadBot
許可しない: /
特定の検索エンジン(以下の例ではクローラー)からのアクセスのみを許可する
ユーザーエージェント: クローラー
許可しない:
ユーザーエージェント: *
許可しない: /
さらに、これを拡張してロボット メタを導入​​する必要があると考えています。
Robots META タグは主に特定のページを対象としています。他の META タグ (使用言語、ページの説明、キーワードなど) と同様に、Robots META タグもページの <head> </head> に配置され、特に検索エンジン ROBOTS にページのコンテンツをクロールする方法を伝えるために使用されます。
Robots META タグの書き方:
Robots META タグでは大文字と小文字は区別されません。name="Robots" はすべての検索エンジンを意味し、特定の検索エンジンの場合は name="BaiduSpider" と記述できます。コンテンツ部分には、index、noindex、follow、nofollow の 4 つのコマンド オプションがあります。コマンドは「,」で区切られます。
INDEX ディレクティブは、検索ロボットにページをクロールするように指示します。
FOLLOW 命令は、検索ロボットがページ上のリンクに沿ってクロールを続行できることを示します。
Robots Meta タグのデフォルト値は INDEX と FOLLOW ですが、inktomi の場合、デフォルト値は INDEX、NOFOLLOW です。
したがって、組み合わせは次の 4 つになります。
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
このうち、<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”> は <META NAME=”ROBOTS” CONTENT=”ALL”> と記述できます。
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> は <META NAME="ROBOTS" CONTENT="NONE"> と記述できます。
現時点では、検索エンジンロボットの大半は robots.txt のルールに従っているようです。Robots META タグについては、現時点ではサポートがあまりありませんが、徐々に増えてきています。たとえば、有名な検索エンジン GOOGLE はこれを全面的にサポートしており、GOOGLE は Web ページのスナップショットを保持するかどうかを制限できるコマンド「archive」も追加しました。例えば:
<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>

<<:  任意の長さの配列を作成または埋めるための JS のヒントの要約

>>:  nginx を最適化する 6 つの方法

推薦する

Vue プロジェクトがページング効果を実現

ページング効果は、参考までにvueプロジェクトに実装されています。具体的な内容は次のとおりです。 1...

CentOS での Django プロジェクトのデプロイに関する詳細なチュートリアル

基本環境パゴダ設置サービスパゴダにインストールされた[Pythonプロジェクトマネージャー]パゴダに...

Dockerイメージ送信コマンドcommitの動作原理と使い方の詳細な説明

ローカルでコンテナを作成した後、このコンテナに基づいてローカル イメージを作成し、このイメージを D...

Vue プロジェクトに ECharts を導入する

目次1. インストール2. はじめに3. 使用4. 必要に応じてEChartsチャートとコンポーネン...

MySQL サーバー 5.5 の接続失敗の解決策

mysqlに接続できない問題の解決方法を参考までに紹介します。具体的な内容は以下のとおりです。昨日は...

Centos7 で yum を使用して Mysql5.7.19 をインストールする詳細な手順

Centos7 の yum ソースには、mysql の代わりに mariaDB が使用されているため...

iOS、Android、ミニプログラムアプリの敷居の低い開発のためのフロントエンドフレームワークを詳しく解説

現在、クロスプラットフォーム開発技術はもはや新しい話題ではありません。市場にはいくつかのオープンソー...

テーブルタグ(TAGS)の詳細な紹介

テーブルの基本構文<table>...</table> - テーブルを定義し...

Docker+Jenkins+Gitlab+Djangoアプリケーションデプロイ実践の詳細な説明

1. 背景インターネット アプリケーションの急速な更新と反復という状況では、従来の手作業や単純なスク...

Dockerとイメージの操作方法

ミラーを探すDocker Hubのウェブサイトからイメージを検索できます。Docker Hubのウェ...

HTMLコードに基づく画像断片化読み込み機能の実装

今日は断片化された画像の読み込み効果を実装します。効果は次のとおりです。 これを 3 つのステップで...

JSキャンバスは描画ボードと署名ボードの機能を実現します

この記事では、お絵かきボード/サインボード機能を実現するためのJSキャンバスの具体的なコードを参考ま...

Angularコンポーネント投影の詳細な説明

目次概要1. 簡単な例1.サブコンポーネントの<ng-content>ディレクティブを使...

MySQL 結合クエリ構文と例

接続クエリ:これは、2 つのクエリ (またはテーブル) の各行をペアで接続した結果です。つまり、1 ...

Linux で ffmpeg をインストールするための詳細なチュートリアル

1. CentOS Linuxにffmpegをインストールする1.ダウンロードして解凍する http...