XieJava的博客

Selenium安装与配置

Selenium是一个用于Web应用程序测试的自动化工具。它直接运行在浏览器中,模拟真实用户的操作。Selenium支持多种主流浏览器,如IE、Mozilla Firefox、Safari、Google Chrome、Opera和Edge等。在爬取数据的时候对于需要登录后才能爬取的情况往往可以利用Selenium来进行模拟登录,登录后进行数据的获取。这里先介绍Selenium的安装与配置,实现通过python来驱动浏览器进行操作。

一、selenium安装

要安装Selenium,首先需要具备Python开发环境。以下是安装Selenium的步骤:

1. Python环境准备:

  • 打开Python官网:https://www.python.org/downloads/,下载适合你操作系统的Python版本。
  • 安装Python。在window下安装python环境非常简单,直接下一步下一步就可以安装完成。安装过程中,确保将Python添加到环境变量中,以便在命令行中运行Python命令。

    在这里插入图片描述

  • 安装完成后,可以在命令行中输入python --version来验证Python是否安装成功,并查看版本号。

在这里插入图片描述

2. 安装Selenium:

  • 在命令行中,使用pip(Python的包管理工具)来安装Selenium。输入以下命令并按回车键执行:
  • 如果你的系统有多个Python版本,可能需要使用pip3代替pip。
pip install selenium

3. 浏览器驱动安装:

  • Selenium支持多种浏览器,但每种浏览器都需要相应的驱动程序。例如,对于Chrome浏览器,你需要下载ChromeDriver。 ○ 访问ChromeDriver的下载页面:https://sites.google.com/a/chromium.org/chromedriver/,选择与你的Chrome浏览器版本相对应的ChromeDriver版本。 ○ 国内镜像下载站点 https://registry.npmmirror.com/binary.html?path=chromedriver/ 高版本的ChromeDriver可以在https://chromedriver.com/download 下载
  • 下载后,解压(如果需要的话),并将ChromeDriver的路径添加到系统环境变量中,或者将其放在你的项目目录中。比如我的是放到 C:\python\Scripts 并将C:\python\Scripts配置到了系统环境变量中。 在这里插入图片描述

4. 验证安装:

参考selenium的官方文档,创建一个简单的Python脚本,使用Selenium打开浏览器并访问一个网页。 运行这个脚本。如果一切顺利,它会打开Chrome浏览器并导航到指定的URL,然后关闭浏览器。 代码如下:

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

driver.get("https://www.selenium.dev/selenium/web/web-form.html")

title = driver.title

driver.implicitly_wait(0.5)

text_box = driver.find_element(by=By.NAME, value="my-text")
submit_button = driver.find_element(by=By.CSS_SELECTOR, value="button")

text_box.send_keys("Selenium")
submit_button.click()

message = driver.find_element(by=By.ID, value="message")
text = message.text

driver.quit()

效果如下: 打开一个浏览器,访问https://www.selenium.dev/selenium/web/web-form.html 在这里插入图片描述

对浏览器中的元素进行操作,最后关闭浏览器。 在这里插入图片描述

请注意,由于Selenium和浏览器驱动程序可能会定期更新,因此在安装和配置过程中,最好参考最新的官方文档和指南。

二、常见问题

在安装Selenium的过程中,可能会遇到一些常见的问题

1. Selenium版本与浏览器驱动程序不兼容:

  • 问题:安装的Selenium版本与浏览器驱动程序版本不兼容。
  • 解决方案:检查Selenium和浏览器驱动程序的版本,确保它们相互兼容。通常,Selenium的最新版本会支持最新的浏览器驱动程序。如果需要,可以降级或升级Selenium或浏览器驱动程序以确保兼容性。

    2. 浏览器驱动程序路径未正确设置:

  • 问题:浏览器驱动程序的路径未正确设置,导致Selenium无法找到驱动程序。

  • 解决方案:确保将浏览器驱动程序的路径添加到系统环境变量中,或者在Selenium代码中明确指定驱动程序的路径。例如,对于ChromeDriver,可以在代码中这样设置:
from selenium import webdriver  
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

后续我们将实战通过selenium来实现登录到淘宝并获取淘宝的商品信息。


作者博客:http://xiejava.ishareread.com/


“fullbug”微信公众号

关注:微信公众号,一起学习成长!