序文仕事で Linux サーバーに Selenium クローラー プログラムを展開する必要があります。これを皆さんと共有したいと思います。ご興味があれば、ぜひご覧ください。 1. セレンとは何ですか?Selenium は、Web アプリケーションのテストに使用されるツールです。 Seleniumテストは、実際のユーザーが操作しているのと同じようにブラウザで直接実行され、クローラーはそれを使用してjsによって動的に読み込まれたデータをクロールします。 2. 使用手順1. ライブラリをインポートするコードは次のとおりです selenium.webdriverからChromeをインポート selenium.webdriver.chrome.service から Service をインポート from selenium.webdriver.chrome.options import Options # ヘッドレスブラウザを使用する from selenium.webdriver import ChromeOptions chrome_options = オプション() オプション = ChromeOptions() options.add_experimental_option('excludeSwitches', ['enable-automation']) # => 自動テストソフトウェアによって制御されているブラウザを削除します。options.add_experimental_option('useAutomationExtension', False) chrome_options.add_argument("--headless") # => Chrome のヘッドレス モードを設定します chrome_options.add_argument('--no-sandbox') chrome_options.add_argument('--disable-gpu') chrome_options.add_argument('--disable-dev-shm-usage') 2. テストコードコードは次のとおりです。 s = サービス(r"/home/driver/chromedriver") ドライバー = Chrome( サービス=s、オプション=chrome_options ) ドライバー.get("https://www.baidu.com") print(div.title) を印刷します。 3. 展開手順1. Chromeをインストールするコマンドは次のとおりです。 yum で https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm をインストールします Chromeのバージョンを確認します: google-chrome --version 2. chromedriverをインストールするコマンドは次のとおりです。 対応する Chrome バージョンに応じて、chromedriver ドライバー アドレスをダウンロードします: https://npm.taobao.org/mirrors/chromedriver 私のバージョン番号は: 96.0.4664.45 https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip をダウンロードしてください yum インストール -y zip を解凍します unzip chromedriver_linux64.zip # zip ファイルを解凍します mkdir driver # ドライバーを保存するための新しいフォルダーを作成します chmod 777 driver/chromedriver # これは権限です。ここでは 777 を与えます 3. テストコードを実行する新しいtest.pyファイルを作成する vi テスト.py test.py を保存して実行します。 これを見ると、私のリクエストは成功したようです。 要約するLinux システムでの Selenium クローラー プログラムの展開に関するこの記事はこれで終わりです。Linux Selenium クローラー プログラムに関する関連コンテンツの詳細については、123WORDPRESS.COM の以前の記事を検索するか、以下の関連記事を引き続き参照してください。今後も 123WORDPRESS.COM を応援していただければ幸いです。 以下もご興味があるかもしれません:
|
>>: MySQL の基本: グループ化関数、集計関数、グループ化クエリの詳細な説明
この記事の例では、VueがPCカメラを呼び出して写真機能を実現する具体的なコードを参考までに共有して...
プロジェクトでは、プロジェクトが呼び出すカスタム パブリック コンポーネントに遭遇します。通常、pr...
<br />私はいつもYahooのウェブデザインが素晴らしいと信じてきました。しかし、こ...
この記事では、参考までに、Vue の具体的なコードで簡単な計算機を実装する方法を紹介します。具体的な...
MySQL でデータを削除する方法は 2 つあります。1 つは DELETE ステートメント、もう ...
目次1. マップ方式2. 応用背景:需要開発プロセス中に、一部のインターフェースは、ページに表示する...
目次背景コンテナを固定し、数字を上にスクロールすることで、スクロールホイールと同様の効果を実現します...
ブラウザ (Web ドライバー) ベースの Selenium テクノロジを使用してデータをクロールす...
この記事の例では、文字の出現回数をカウントするJavaScriptの具体的なコードを参考までに共有し...
<br />みなさんこんにちは!ここで皆さんとチャットできて光栄です! (*^__^*)...
インライン形式<colgroup>...</colgroup>属性名 属性値...
目次1. beforeCreate & created 2. マウント前とマウント済み3. ...
エディターは、Vue3のデータの関連する問題も共有します。次のような例を見てみましょう。 Vue.c...
コードをコピーコードは次のとおりです。 <!DOCTYPE html PUBLIC "...
vue-cli で構築されたプロジェクト スキャフォールディングでは、すでに autoprefix...