最好的建设工程网站,小米路由器 wordpress,免费企业管理系统软件,企业信息公示管理系统Python3 默认提供了urllib库#xff0c;可以爬取网页信息#xff0c;但其中确实有不方便的地方#xff0c;如#xff1a;处理网页验证和Cookies#xff0c;以及Hander头信息处理。
为了更加方便处理#xff0c;有了更为强大的库 urllib3 和 requests, 本节会分别介绍一下…Python3 默认提供了urllib库可以爬取网页信息但其中确实有不方便的地方如处理网页验证和Cookies以及Hander头信息处理。
为了更加方便处理有了更为强大的库 urllib3 和 requests, 本节会分别介绍一下以后我们着重使用requests。
urllib3网址https://pypi.org/project/urllib3/requests网址http://www.python-requests.org/en/master/1. urllib3库的使用
安装通过使用pip命令来安装urllib3pip install urllib3
简单使用import urllib3
import re实例化产生请求对象
http urllib3.PoolManager()get请求指定网址
url http://www.baidu.com
res http.request(GET,url)获取HTTP状态码
print(status:%d % res.status)获取响应内容
data res.data.decode(utf-8)正则解析并输出
print(re.findall(title(.*?)/title,data))其他设置: 增加了超时时间请求参数等设置
import urllib3
import reurl http://www.baidu.com
http urllib3.PoolManager(timeout 4.0) #设置超时时间res http.request(GET,url,#headers{# User-Agent:Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1,#},fields{id:100,name:lisi}, #请求参数信息)print(status:%d % res.status)data res.data.decode(utf-8)print(re.findall(title(.*?)/title,data))requests库的使用 安装通过使用pip命令来安装requests
pip install requests简单使用import requests
import reurl http://www.baidu.com抓取信息
res requests.get(url)#获取HTTP状态码
print(status:%d % res.status_code)获取响应内容
data res.content.decode(utf-8)#解析出结果
print(re.findall(title(.*?)/title,data))图片 3. 解析库的使用–XPath:
XPath(XML Path Language)是一门在XML文档中查找信息的语言。XPath 可用来在XML文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素并且 XQuery 和 XPointer 都构建于 XPath 表达之上。官方网址http://lxml.de 官方文档http://lxml.de/api/index.html注XQuery 是用于 XML 数据查询的语言类似SQL查询数据库中的数据注XPointer 由统一资源定位地址URL中#号之后的描述组成类似于HTML中的锚点链接python中如何安装使用XPath:①: 安装 lxml 库。②: from lxml import etree③: Selector etree.HTML(网页源代码)④: Selector.xpath(一段神奇的符号)准备工作 要使用XPath首先要先安装lxml库
pip install lxmlXPath选取节点规则
表达式 描述
nodename 选取此节点的所有子节点。
/ 从当前节点选取直接子节点
// 从匹配选择的当前节点选择所有子孙节点而不考虑它们的位置
. 选取当前节点。
.. 选取当前节点的父节点。选取属性。
述
nodename 选取此节点的所有子节点。
/ 从当前节点选取直接子节点
// 从匹配选择的当前节点选择所有子孙节点而不考虑它们的位置
. 选取当前节点。
.. 选取当前节点的父节点。选取属性。解析案例 首先创建一个html文件my.html 用于测试XPath的解析效果
!DOCTYPE html
html
headtitle我的网页/title
/head
bodyh3 idhid我的常用链接/h3ulli classitem-0a hrefhttp://www.baidu.com百度/a/lili classitem-1 shopa hrefhttp://www.jd.com京东/a/lili classitem-2a hrefhttp://www.sohu.com搜狐/a/lili classitem-3a hrefhttp://www.sina.com新浪/a/lili classitem-4 shopa hrefhttp://www.taobao.com淘宝/a/li/ul/body
/html使用XPath解析说明
导入模块
from lxml import etree读取html文件信息在真实代码中是爬取的网页信息
f open(./my.html,r,encodingutf-8)
content f.read()
f.close()解析HTML文档返回根节点对象
html etree.HTML(content)
#print(html) # Element html at 0x103534c88获取网页中所有标签并遍历输出标签名
result html.xpath(//*)
for t in result:print(t.tag,end )
#[html head title body h3 ul li a li a ... ... td]
print()获取节点
result html.xpath(//li) # 获取所有li节点
result html.xpath(//li/a) # 获取所有li节点下的所有直接a子节点
result html.xpath(//ul//a) # 效果同上ul下所有子孙节点
result html.xpath(//a/..) #获取所有a节点的父节点
print(result)获取属性和文本内容
result html.xpath(//li/a/href) #获取所有li下所有直接子a节点的href属性值
result html.xpath(//li/a/text()) #获取所有li下所有直接子a节点内的文本内容
print(result) #[百度, 京东, 搜狐, 新浪, 淘宝]result html.xpath(//li/a[class]/text()) #获取所有li下所有直接含有class属性子a节点内的文本内容
print(result) #[百度, 搜狐, 新浪]#获取所有li下所有直接含有class属性值为aa的子a节点内的文本内容
result html.xpath(//li/a[classaa]/text())
print(result) #[搜狐, 新浪]#获取class属性值中含有shop的li节点下所有直接a子节点内的文本内容
result html.xpath(//li[contains(class,shop)]/a/text())
print(result) #[搜狐, 新浪]按序选择
result html.xpath(//li[1]/a/text()) # 获取每组li中的第一个li节点里面的a的文本
result html.xpath(//li[last()]/a/text()) # 获取每组li中最后一个li节点里面的a的文本
result html.xpath(//li[position()3]/a/text()) # 获取每组li中前两个li节点里面的a的文本
result html.xpath(//li[last()-2]/a/text()) # 获取每组li中倒数第三个li节点里面的a的文本
print(result)print(--*30)节点轴选择
result html.xpath(//li[1]/ancestor::*) # 获取li的所有祖先节点
result html.xpath(//li[1]/ancestor::ul) # 获取li的所有祖先中的ul节点
result html.xpath(//li[1]/a/attribute::*) # 获取li中a节点的所有属性值
result html.xpath(//li/child::a[hrefhttp://www.sohu.com]) #获取li子节点中属性href值的a节点
result html.xpath(//body/descendant::a) # 获取body中的所有子孙节点a
print(result)result html.xpath(//li[3]) #获取li中的第三个节点
result html.xpath(//li[3]/following::li) #获取第三个li节点之后所有li节点
result html.xpath(//li[3]/following-sibling::*) #获取第三个li节点之后所有同级li节点
for v in result:print(v.find(a).text)
解析案例导入模块
from lxml import etree读取html文件信息在真实代码中是爬取的网页信息
f open(./my.html,r)
content f.read()
f.close()解析HTML文档返回根节点对象
html etree.HTML(content)1. 获取id属性为hid的h3节点中的文本内容
print(html.xpath(//h3[idhid]/text())) #[我的常用链接]2. 获取li中所有超级链接a的信息
result html.xpath(//li/a)
for t in result:# 通过xapth()二次解析结果#print(t.xpath(text())[0], :, t.xpath(href)[0])# 效果同上使用节点对象属性方法解析print(t.text, :, t.get(href))
#结果:
百度 : http://www.baidu.com
京东 : http://www.jd.com
搜狐 : http://www.sohu.com
新浪 : http://www.sina.com
淘宝 : http://www.taobao.comHTML元素的属性tag元素标签名text标签中间的文本
HTML元素的方法find() 查找一个匹配的元素findall() 查找所有匹配的元素get(key, defaultNone) 获取指定属性值items获取元素属性作为序列返回keys获取属性名称列表value是将元素属性值作为字符串序列
