Linux システムでの Selenium クローラー プログラムの導入の概要

Linux システムでの Selenium クローラー プログラムの導入の概要

序文

仕事で Linux サーバーに Selenium クローラー プログラムを展開する必要があります。これを皆さんと共有したいと思います。ご興味があれば、ぜひご覧ください。


1. セレンとは何ですか?

Selenium は、Web アプリケーションのテストに使用されるツールです。 Seleniumテストは、実際のユーザーが操作しているのと同じようにブラウザで直接実行され、クローラーはそれを使用してjsによって動的に読み込まれたデータをクロールします。

2. 使用手順

1. ライブラリをインポートする

コードは次のとおりです

selenium.webdriverからChromeをインポート
selenium.webdriver.chrome.service から Service をインポート
from selenium.webdriver.chrome.options import Options # ヘッドレスブラウザを使用する from selenium.webdriver import ChromeOptions
chrome_options = オプション()
オプション = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # => 自動テストソフトウェアによって制御されているブラウザを削除します。options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless") # => Chrome のヘッドレス モードを設定します chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2. テストコード

コードは次のとおりです。

s = サービス(r"/home/driver/chromedriver")
ドライバー = Chrome(
     サービス=s、オプション=chrome_options
 )
 ドライバー.get("https://www.baidu.com")
 print(div.title) を印刷します。

3. 展開手順

1. Chromeをインストールする

コマンドは次のとおりです。

yum で https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm をインストールします
Chromeのバージョンを確認します: google-chrome --version

2. chromedriverをインストールする

コマンドは次のとおりです。

対応する Chrome バージョンに応じて、chromedriver ドライバー アドレスをダウンロードします: https://npm.taobao.org/mirrors/chromedriver
私のバージョン番号は: 96.0.4664.45
https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip をダウンロードしてください 
yum インストール -y zip を解凍します
unzip chromedriver_linux64.zip # zip ファイルを解凍します mkdir driver # ドライバーを保存するための新しいフォルダーを作成します chmod 777 driver/chromedriver # これは権限です。ここでは 777 を与えます

3. テストコードを実行する

新しいtest.pyファイルを作成する

vi テスト.py 

ここに画像の説明を挿入

test.py を保存して実行します。

ここに画像の説明を挿入

これを見ると、私のリクエストは成功したようです。

要約する

Linux システムでの Selenium クローラー プログラムの展開に関するこの記事はこれで終わりです。Linux Selenium クローラー プログラムに関する関連コンテンツの詳細については、123WORDPRESS.COM の以前の記事を検索するか、以下の関連記事を引き続き参照してください。今後も 123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません:
  • LinuxベースのSelenium環境を構成し、操作を実装する

<<:  アニメーションとトランジションの違い

>>:  MySQL の基本: グループ化関数、集計関数、グループ化クエリの詳細な説明

推薦する

VueはPCカメラを呼び出して写真機能を実現します

この記事の例では、VueがPCカメラを呼び出して写真機能を実現する具体的なコードを参考までに共有して...

v-model 双方向バインディングデータを実装する vue カスタム コンポーネントのサンプル コード

プロジェクトでは、プロジェクトが呼び出すカスタム パブリック コンポーネントに遭遇します。通常、pr...

表面的なウェブデザイン

<br />私はいつもYahooのウェブデザインが素晴らしいと信じてきました。しかし、こ...

Vueはシンプルな計算機能を実装します

この記事では、参考までに、Vue の具体的なコードで簡単な計算機を実装する方法を紹介します。具体的な...

MySQLでテーブルデータを削除する方法

MySQL でデータを削除する方法は 2 つあります。1 つは DELETE ステートメント、もう ...

vuex での mapState の考え方の応用

目次1. マップ方式2. 応用背景:需要開発プロセス中に、一部のインターフェースは、ページに表示する...

jsは徐々に増加するデジタルアニメーションを実現します

目次背景コンテナを固定し、数字を上にスクロールすることで、スクロールホイールと同様の効果を実現します...

CentOS7 インストール GUI インターフェースとリモート接続の実装

ブラウザ (Web ドライバー) ベースの Selenium テクノロジを使用してデータをクロールす...

JavaScriptは文字の出現回数をカウントします

この記事の例では、文字の出現回数をカウントするJavaScriptの具体的なコードを参考までに共有し...

ウェブデザインの仕事に応募する方法

<br />みなさんこんにちは!ここで皆さんとチャットできて光栄です! (*^__^*)...

HTML テーブルインライン形式の詳細な説明

インライン形式<colgroup>...</colgroup>属性名 属性値...

この記事はVueのライフサイクルを理解するのに役立ちます

目次1. beforeCreate & created 2. マウント前とマウント済み3. ...

Vue3 の参照と参照の詳細

エディターは、Vue3のデータの関連する問題も共有します。次のような例を見てみましょう。 Vue.c...

ネストされた HTML ページの使用例 (フレームセットの使用)

コードをコピーコードは次のとおりです。 <!DOCTYPE html PUBLIC "...

CSS3 パッケージ化後にプレフィックスプラグインを自動的に追加する方法の詳細な説明: autoprefixer

vue-cli で構築されたプロジェクト スキャフォールディングでは、すでに autoprefix...