ウェブサイトのコンテンツが検索エンジンに含まれないようにする方法

通常、Web サイトを構築する目的は、検索エンジンにインデックス登録してもらい、プロモーションを拡大することです。しかし、Web サイトに個人のプライバシーや機密性の高い非公開の Web ページが含まれており、検索エンジンによるインデックス登録やクロールを禁止する必要がある場合、どうすればよいでしょうか。たとえば、Taobao は検索エンジンによるインデックス作成が禁止されている Web サイトの例です。この記事では、検索エンジンによる Web サイトコンテンツのインデックス作成とクロールをブロックまたは禁止するいくつかの方法について説明します。

検索エンジンのスパイダーはインターネットを絶えずクロールしています。当社のウェブサイトが検索エンジンによるインデックス作成を禁止する措置を講じなければ、検索エンジンによって簡単にインデックス作成されてしまいます。ここでは、検索エンジンがウェブサイトのコンテンツをインデックスしないようにする方法を説明します。

まず、robots.txtメソッド

検索エンジンはデフォルトで robots.txt プロトコルに準拠しています (一部の不正なエンジンは除きます)。robots.txt テキストファイルを作成し、Web サイトのルートディレクトリに配置します。コードを次のように編集します。

ユーザーエージェント: *
許可しない: /

上記のコードを使用すると、検索エンジンにこの Web サイトをクロールしてインデックスしないように指示できます。上記のコードを使用するときは注意してください。これにより、すべての検索エンジンが Web サイトのどの部分にもアクセスできなくなります。

Baidu検索エンジンによるウェブページのインデックス作成とクロールのみを禁止する場合

1. robots.txt ファイルを編集し、マークアップを次のように設計します。

ユーザーエージェント: Baiduspider
許可しない: /

上記の robots ファイルは、Baidu からのすべてのクロールを禁止します。

ここで、Baidu のユーザーエージェントについてお話ししましょう。Baiduspider のユーザーエージェントとは何でしょうか?

Baidu はさまざまな製品に異なるユーザーエージェントを使用します。

製品名はユーザーエージェントに対応しています
ワイヤレス検索 Baiduspider
画像検索 Baiduspider-image
ビデオ検索 Baiduspider-video
ニュース検索 Baiduspider-news
Baidu コレクション Baiduspider-favo
百度アライアンス Baiduspider-cpro
ビジネス検索 Baiduspider-ads
ウェブ検索とその他の検索 Baiduspider

各製品の異なるユーザーエージェントに基づいて、異なるクロールルールを設定できます。次のロボット実装では、Baidu からのクロールはすべて禁止されますが、画像検索による /image/ ディレクトリのクロールは許可されます。

ユーザーエージェント: Baiduspider
許可しない: /
ユーザーエージェント: Baiduspider-image
許可: /image/

注意: Baiduspider-cpro および Baiduspider-ads によってクロールされた Web ページはインデックス化されません。これらは顧客と合意した操作を実行するだけなので、ロボットプロトコルに準拠していません。これは Baidu に連絡することによってのみ解決できます。

Google 検索エンジンによる Web ページのインデックス作成とクロールのみを禁止するにはどうすればよいでしょうか? 方法は次のとおりです。

robots.txt ファイルを編集し、次のようにマークします。

ユーザーエージェント: googlebot
許可しない: /

2番目は、ウェブページコード方式

ウェブサイトのホームページコードの <head> と </head> の間に、コード <meta name="robots" content="noarchive"> を追加します。このタグは、検索エンジンがウェブサイトをクロールしてウェブページのスナップショットを表示することを禁止します。

Baidu 検索エンジンが Web サイトをクロールして Web ページのスナップショットを表示するのを防ぐには、Web サイトのホームページの <head> コードと </head> コードの間に <meta name="Baiduspider" content="noarchive"> を追加します。

Google 検索エンジンがウェブサイトをクロールしてウェブページのスナップショットを表示するのを防ぐには、ウェブサイトのホームページの <head> コードと </head> コードの間に <meta name="googlebot" content="noarchive"> を追加します。

さらに、次のような状況のように、私たちのニーズが非常に奇妙な場合もあります。

1. ウェブサイトに robots.txt が追加されましたが、Baidu 検索でまだ見つかりますか?

検索エンジンのインデックスデータベースの更新には時間がかかるためです。 Baiduspider はお客様の Web サイト上の Web ページへのアクセスを停止しましたが、Baidu 検索エンジンデータベースに確立された Web ページインデックス情報をクリアするには数か月かかる場合があります。ロボットの設定が正しいかどうかも確認してください。掲載を拒否する必要がある場合は、苦情プラットフォームを通じてリクエストを送信することもできます。

2. ウェブサイトのコンテンツを Baidu でインデックス化したいのですが、スナップショットとして保存したくありません。どうすればいいですか?

Baiduspider はインターネットメタロボットプロトコルに準拠しています。 Web ページのメタ設定を使用すると、Baidu でそのページのみをインデックスし、検索結果にそのページのスナップショットを表示しないようにすることができます。ロボットの更新と同様に、検索エンジンのインデックスデータベースの更新にも時間がかかります。そのため、Web ページのメタを通じて Baidu がページのスナップショットを検索結果に表示することを禁止した場合でも、Web ページのインデックス情報がすでに Baidu 検索エンジンデータベースに設定されている場合は、更新がオンラインで有効になるまでに 2 ～ 4 週間かかることがあります。

3. Baidu にインデックス登録したいが、Web サイトのスナップショットを保存したくない場合は、次のコードで問題を解決できます。

<meta name="Baiduspider" content="noarchive">

4. すべての検索エンジンが Web ページのスナップショットを保存することを禁止する場合、コードは次のようになります。

<meta name="robots" content="noarchive">

よく使用されるコードの組み合わせを以下に示します。

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">: このページはクロール可能であり、このページに沿って他のリンクをインデックス化できます。
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">: このページはクロールしませんが、このページに沿った他のリンクはクロールしてインデックスできます。
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">: このページはクロールできますが、このページに沿った他のリンクはクロールおよびインデックス化できません。
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">: このページをクロールせず、このページに沿った他のリンクをクロールしてインデックス付けしません

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。

以下もご興味があるかもしれません: