公众平台的微信网站开发,东莞seo建站优化方法,wordpress后台登入,编程培训机构哪里好目录 1.打开Anaconda Prompt 创建环境2.安装resuests3.验证是否安装成功4.安装Selenium5.安装ChromeDriver5.1获取chrom的版本5.1.1点击浏览器右上三个点5.1.2点击设置5.1.3下拉菜单#xff0c;点击最后关于Chrome#xff0c;获得其版本 5.2 打开网址 [chromedriver](https:/… 目录 1.打开Anaconda Prompt 创建环境2.安装resuests3.验证是否安装成功4.安装Selenium5.安装ChromeDriver5.1获取chrom的版本5.1.1点击浏览器右上三个点5.1.2点击设置5.1.3下拉菜单点击最后关于Chrome获得其版本 5.2 打开网址 [chromedriver](https://googlechromelabs.github.io/chrome-for-testing/)5.3解压下载的压缩包将可执行文件移动到chrome浏览器安装位置5.4配置环境变量5.4.1准备工作5.4.2*名字起个chromedriver变量值复制前面chrome的路径即可然后点击确定即可* 5.5将chromedriver.exe放在anaconda安装路径下的Scripts的目录下如下5.6验证chromedriver是否安装成功 6.安装PhantomJS6.1去官网选择相应的版本下载6.2配置环境变量6.3测试是否配置成功 7.安装aiohttp7.1安装7.2验证 注该系列教程已经默认用户安装了Pycharm和Anaconda未安装的可以参考我之前的博客有将如何安装。同时默认用户掌握了Python基础语法。 爬虫可以简单分为几步1.抓取页2.分析页面3.存储数据 在抓取页面的过程中 我们需要模拟浏览器向服务器发出请求所以需要用到一些 Python 库来实现HTTP 请求操作因此我们先介绍怎么安装这些请求库。 1.打开Anaconda Prompt 创建环境
打开Anaconda Prompt (anaconda)新建一个虚拟环境。不太会的可以先参考我这篇博客PycharmAnacondayolov5-5.0部署手把手教解决一些运行过程中的问题最全部署yolov5和Windows配置深度学习环境安装Pytorch自动安装cudn和cudnn图文快速很简单几分钟搞定这两篇博文里面说的很清楚,大家只需要看前面部分即可。
#1.创建虚拟环境spider是自己起的名字大家随机即可
conda create -n spider python
#2.激活虚拟环境spider
conda activate spider
#3.输入python测试py环境
python
#4.退出
exit()1.创建虚拟环境显示 2.激活虚拟环境显示 3.测试py环境显示退出
2.安装resuests 安装的方法很多我在这就拿最简单的演示。 #1.输入代码
conda install requests
#2.如何输入y等待即可3.验证是否安装成功
#1.输入代码
python
#2.输入
import requests
# 若没有报错证明安装成功结果如下显示4.安装Selenium
Selenium 是一个自动化测试工具利用它我们可以驱动浏览器执行特定的动作如点击、下拉等操作。
#和requests一样的安装方法
conda install selenium
#安装完成以后同样的验证方法结果如下5.安装ChromeDriver 想必大家都有Chrome浏览器吧嘿嘿嘿。 没安装的可以自己安装方法很多在此不再赘述! 接下来介绍如何安装ChromeDriver因为只有安装这个才能驱动Chrome浏览器进行相应的操作其他浏览器同理。 #1.先打开自己的Chrome浏览器查看查看版本
#2.点击 hrome 菜单“帮助”→“关于 Google Chrome”即可查看 Chrome 的版本号5.1获取chrom的版本
5.1.1点击浏览器右上三个点
如下图
5.1.2点击设置 5.1.3下拉菜单点击最后关于Chrome获得其版本 版本是121.0
5.2 打开网址 chromedriver 由于未更新到最高版本选择第一个即可点击stable。 查看自己的电脑版本winR 输入msinfo32,查看自己电脑架构如何下载相应的文件即可。 点击相应的版本下载 5.3解压下载的压缩包将可执行文件移动到chrome浏览器安装位置 chrome安装位置可以通过点击chrome 如何右键选择打开文件位置即可找到。
5.4配置环境变量 按下win键→搜索框输入高级系统设置回车→环境变量→用户变量→Path→编辑→新建将上面的浏览器安装目录进行复制粘贴,然后不要忘记后续全部点击确定 5.4.1准备工作 5.4.2名字起个chromedriver变量值复制前面chrome的路径即可然后点击确定即可 然后一路确定即可
5.5将chromedriver.exe放在anaconda安装路径下的Scripts的目录下如下 5.6验证chromedriver是否安装成功
#输入如下代码
python
from selenium.webdriver import Chrome
web Chrome()
web.get(http://www.baidu.com)出现下述结果则说明配置成功 拓展对于其它浏览器的驱动同样的方法自己配置即可。 6.安装PhantomJS PhantomJS 是一个无界面 、可脚本编程的 WebKit 浏览器引擎它支持多 Web 标准 DOM操作、 ss 选择器、 JSON Canvas 以及 SVG。 Selenium 支持 PhantomJS 这样在运行的时候就不会再弹出浏览器了,而且 PhantomJS 的运行效率也很高同时支持各种参数配置使用很方便。
6.1去官网选择相应的版本下载
官方网站 2.解压下载的zip文件将bin文件夹的路径添加到环境变量 如下 复制下面路径 6.2配置环境变量
方法和前面一样
6.3测试是否配置成功
#第一种情况
#1.打开anaconda prompt激活环境
conda activate spider
#2.输入phantomjs
phantomjs
#若出现下述界面则正确#或者下面代码
#第二种情况
python
from selenium import webdriver
browser webdriver.PhantomJS()
browser.get(https://www.baidu.com)
print(browser.current_url)第一种情况 第二种情况
7.安装aiohttp
7.1安装 requests 库是一个阻塞式 HTTP 请求库当我们发出一个请求后程序会一直等待服器响应直到得到响应后程序才会进行下一步处理 其实这个过程比较长如果程序可以在这个等待过程中做一些其他的事情如进行请求的调度 响应的处理等那么效率可以大幅度提高。 aiohttp 就是这样一个提供异步 We 服务的库使用异步请求库进行数据抓取时 会大大提高效率。 #1.激活conda虚拟环境
conda activate spider
#2.安装aiohttp
conda install aiohttp7.2验证
python
import aiohttp
#如果没有错误报出则证明库已经安装好了
#结果如下接下来会写解析库的安装。
