商务网站模板免费下载,中山网页网站设计模板,全网网络营销推广,网站建设最新教程视频我们已经可以用requests 库来获取网页的源代码#xff0c;得到 HTML 代码。但我们真正想要的数据是包含在 HTML代码之中的#xff0c;要怎样才能从 HTML,代码中获取想要的信息呢?正则表达式就是其中一个有效的方法。
本篇博客我们将了解一下正则表达式的相关用法。正则表达…我们已经可以用requests 库来获取网页的源代码得到 HTML 代码。但我们真正想要的数据是包含在 HTML代码之中的要怎样才能从 HTML,代码中获取想要的信息呢?正则表达式就是其中一个有效的方法。
本篇博客我们将了解一下正则表达式的相关用法。正则表达式是用来处理字符串的强大工具它有自己特定的语法结构有了它实现字符串的检索、替换、匹配验证都不在话下。
当然对于爬虫来说有了它从HTML里提取想要的信息就非常方便了。
实例引入
说了这么多可能我们对正则表达式到底是什么还是比较模糊下面就用几个实例来看一下它的用法。 打开开源中国提供的正则表达式测试工具输人待匹配的文本然后选择常用的正则表达式就可以得出相应的匹配结果了。例如这里输入如下待匹配的文本:
Hello, my phone number is 010-86432100 and email is cqccuigingcai.com, and my website is https://cuigingcai.com这段字符串中包含一个电话号码、一个 E-mai 地址和一个 URL接下来就尝试用正则表达式将这些内容提取出来。
在网页右侧选择“匹配 Email 地址”就可以看到下方出现了文本中的 E-mail如下图所示。 如果选择“匹配网址 URL”可以看到下方出现了文本中的 URL如下图所示 是不是非常神奇?
其实,这里就是用了正则表达式匹配,也就是用一定的规则将特定文本提取出来。例如E-mail地址的开头是一段字符串然后是一个符号最后是某个域名这是有特定的组成格式的。另外对于 URL开头是协议类型然后是冒号加双斜线最后是域名加路径。
对于 URL来说可以用下面的正则表达式匹配。
[a-zA-z]://[^\s]*用这个正则表达式去匹配一个字符串如果这个字符串中包含类似 URL的文本那么这部分就会被提取出来。
正则表达式看上去虽然是乱糟糟的一团但里面其实是有特定语法规则的。例如a-z 代表匹配任意的小写字母\代表匹配任意的空白字符*代表匹配前面的任意多个字符那一长串正则表达式就是这么多匹配规则的组合。
写好正则表达式后就可以拿它去一个长字符串里匹配查找了。不论这个字符串里面有什么只要符合我们写的规则统统可以找出来。对于网页来说如果想找出网页源代码里有多少 URL只要用匹配 URL的正则表达式去匹配即可
上面我们介绍了几个匹配规则下表列出了常用的一些匹配规则。 看完这个表之后可能有点晕晕的吧不用担心后面我们会详细讲解一些常见规则的用法。其实正则表达式并非 Python独有它也可以用在其他编程语言中。但是 Python 的re 库提供了整个正则表达式的实现利用这个库可以在 Python 中方便地使用正则表达式。用 Python 编写正则表达式时几乎都会使用这个库下面就来了解它的一些常用方法。
match
这里首先介绍第一个常用的匹配方法—match向它传人要匹配的字符串以及正则表达式就可以检测这个正则表达式是否和字符串相匹配。 match方法会尝试从字符串的起始位置开始匹配正则表达式如果匹配就返回匹配成功的结果如果不匹配就返回 None。实例如下:
import recontent Hello 123 4567 World_This is a Regex Demo
print(len(content))
result re.match(^Hello\s\d\d\d\s\d{4}\s\w{10}, content)
print(result)
print(result.group())
print(result.span())运行结果如下:
41
re.Match object; span(0, 25), matchHello 123 4567 World_This
Hello 123 4567 World_This
(0, 25)这个实例首先声明了一个字符串其中包含英文字母、空白字符、数字等。接着写了一个正则表达式: ^Hello\s\d\d\d\s\d{4}\s\w{10}
用它来匹配声明的那个长字符串。开头的^表示匹配字符串的开头也就是以 He1lo 开头;然后\s 表示匹配空白字符用来匹配目标字符串里 He1l0 后面的空格;\d 表示匹配数字3 个 \d 用来匹配 123;紧接着的1个\s表示匹配空格:目标字符串的后面还有 4567,我们其实依然可以用4个\d来匹配但是这么写比较烦琐所以可以用\d后面跟{4}的形式代表匹配4次数字;后面又是1个空白字符最后\w{10}则表示匹配 10个字母及下划线。我们注意到这里其实并没有把目标字符串匹配完不过这样依然可以进行匹配只是匹配结果短一点而已。
在 match 方法中第一个参数是传人了正则表达式第二个参数是传人了要匹配的字符串。
将输出结果打印出来可以看到结果是SRE Match 对象证明匹配成功。该对象包含两个方法:group 方法可以输出匹配到的内容结果是Hell01234567 World This这恰好是正则表达式按照规则匹配的内容;span 方法可以输出匹配的范围结果是(025)这是匹配到的结果字符串在原字符串中的位置范围。
通过上面的例子我们基本了解了如何在 Python 中使用正则表达式来匹配一段文字。
匹配目标
用 match方法可以实现匹配如果想从字符串中提取一部分内容该怎么办呢?就像上一节的实例一样从一段文本中提取出E-mail 地址或电话号码。
可以使用括号()将想提取的子字符串括起来。()实际上标记了一个子表达式的开始和结束位置,被标记的每个子表达式依次对应每个分组调用group方法传人分组的索引即可获取提取结果。实例如下:
import recontent Hello 1234567 World_This is a Regex Demo
result re.match(^Hello\s(\d)\sWorld, content)
print(result)
print(result.group())
print(result.group(1))
print(result.span())通过这个实例,我们把字符串中的 1234567提取出来了,可以看到其中数字部分的正则表达式被()括了起来。然后调用 group(1)获取了匹配结果。
运行结果如下:
re.Match object; span(0, 19), matchHello 1234567 World
Hello 1234567 World
1234567
(0, 19)可以看到我们成功得到了 1234567。这里用的是 group(1)它与 group()有所不同后者会输出完整的匹配结果前者会输出第一个被()包围的匹配结果。假如正则表达式后面还有用()包围的内容那么可以依次用 group(2)、group(3)等获取。
通用匹配
刚才我们写的正则表达式其实比较复杂只要出现空白字符就需要写\s 匹配出现数字就需要写 \d匹配这样的工作量非常大。其实完全没必要这么做因为还有一个万能匹配可以用就是.*其中,可以匹配任意字符(除换行符),*代表匹配前面的字符无限次所以它们组合在一起就可以匹配任意字符了。有了它我们就不用挨个字符进行匹配了。
接着上面的例子我们利用.*改写一下正则表达式:
import recontent Hello 123 4567 World_This is a Regex Demo
result re.match(^Hello.*Demo$, content)
print(result)
print(result.group())
print(result.span())这里我们直接省略中间部分全部用.*来代替并在最后加一个结尾字符串。运行结果如下:
re.Match object; span(0, 41), matchHello 123 4567 World_This is a Regex Demo
Hello 123 4567 World_This is a Regex Demo
(0, 41)可以看到group 方法输出了匹配的全部字符串也就是说我们写的正则表达式匹配到了目标字符串的全部内容;span 方法输出(041)这是整个字符串的长度。
因此使用.*能够简化正则表达式的书写。
贪婪与非贪婪
使用通用匹配.*匹配到的内容有时候并不是我们想要的结果。看下面的例子:
import recontent Hello 1234567 World_This is a Regex Demo
result re.match(^He.*(\d).*Demo$, content)
print(result)
print(result.group(1))这里我们依然想获取目标字符串中间的数字所以正则表达式中间写的依然是(\d)。而数字两侧由于内容比较杂乱所以想省略来写于是都写成.。最后组成 ^He.(\d).*Demo$看样子没什么问题。可我们看下运行结果:
re.Match object; span(0, 40), matchHello 1234567 World_This is a Regex Demo
7奇怪的事情发生了只得到了7这个数字这是怎么回事? 这里涉及贪婪匹配和非贪婪匹配的问题。在贪婪匹配下.*会匹配尽可能多的字符。正则表达式中.*后面是 \d也就是至少一个数字而且没有指定具体几个数字因此.*会匹配尽可能多的字符这里就把 123456 都匹配了只给\d 留下一个可满足条件的数字7因此最后得到的内容就只有数字 7。
但这很明显会给我们带来很大的不便。有时候匹配结果会莫名其妙少一部分内容。其实这里只需要使用非贪婪匹配就好了。非贪婪匹配的写法是.*?比通用匹配多了一个 ?那么它可以起到怎样的效果?我们再用实例看一下:
import recontent Hello 1234567 World_This is a Regex Demo
result re.match(^He.*?(\d).*Demo$, content)
print(result)
print(result.group(1))这里我们只是将第一个.改成了.?贪婪匹配就转变为了非贪婪匹配。结果如下:
re.Match object; span(0, 40), matchHello 1234567 World_This is a Regex Demo
1234567此时便可以成功获取 1234567了。原因可想而知贪婪匹配是匹配尽可能多的字符非贪婪匹配就是匹配尽可能少的字符。当.?匹配到 Hel10后面的空白字符时再往后的字符就是数字了而\d恰好可以匹配于是这里.?就不再进行匹配了而是交给 \d 去匹配。最后.*?匹配了尽可能少的字符\d的结果就是 1234567。
所以说在做匹配的时候字符串中间尽量使用非贪婪匹配也就是用.?代替.以免出现匹配结果缺失的情况。
但这里需要注意如果匹配的结果在字符串结尾.*?有可能匹配不到任何内容了因为它会匹配尽可能少的字符。例如:
import recontent http://weibo.com/comment/kEraCN
result1 re.match(http.*?comment/(.*?), content)
result2 re.match(http.*?comment/(.*), content)
print(result1, result1.group(1))
print(result2, result2.group(1))运行结果如下:
result1
result2 kEraCN可以观察到.*?没有匹配到任何结果而.*则是尽量多匹配内容成功得到了匹配结果。
修饰符
在正则表达式中可以用一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。我们用实例来看一下:
import recontent (Hello 1234567 World_This is a Regex Demo)
result re.match(^He.*?(\d).*?Demo$, content)
print(result)
print(result.group(1))和上面的例子相仿,我们在字符串中加了换行符,正则表达式还是一样的,用来匹配其中的数字。看一下运行结果:
Traceback (most recent call last):File D:\projects\scrapy-demo\test.py, line 7, in moduleprint(result.group(1))
AttributeError: NoneType object has no attribute group
None发现运行直接报错也就是说正则表达式没有匹配到这个字符串返回结果为None而我们又调用了 group 方法导致 AttributeError。 那么为什么加了一个换行符就匹配不到了呢?这是因为匹配的内容是除换行符之外的任意字符当遇到换行符时.*?就不能匹配了所以导致匹配失败。这里只需加一个修饰符 re.s即可修正这个错误:
import recontent (Hello 1234567 World_This is a Regex Demo)
result re.match(^He.*?(\d).*?Demo$, content, re.S)
print(result)
print(result.group(1))这个修饰符的作用是使匹配内容包括换行符在内的所有字符。此时运行结果如下:
re.Match object; span(0, 52), matchHello 1234567 World_This \n is a Regex
1234567这个 re.S 在网页匹配中经常用到。因为 HTML节点经常会有换行加上它就可以匹配节点与节点之间的换行了。
另外还有一些修饰符在必要的情况下也可以使用如下表所示。 在网页匹配中较为常用的有re.S 和re.I。
转义匹配
我们知道正则表达式定义了许多匹配模式如.用于匹配除换行符以外的任意字符。但如果目标字符串里面就包含·这个字符那该怎么办呢?
这时需要用到转义匹配实例如下:
import recontent (百度)www.baidu.com
result re.match(\(百度\)www\.baidu\.com, content)
print(result)当在目标字符串中遇到用作正则匹配模式的特殊字符时,在此字符前面加反斜线\转义一下即可。例如.就可以用来匹配.运行结果如下:
re.Match object; span(0, 17), match(百度)www.baidu.com可以看到这里成功匹配到了原字符串。 以上这些是写正则表达式时常用的几个知识点熟练掌握它们对后面非常有帮助。
search
前文提到过match 方法是从字符串的开头开始匹配的意味着一旦开头不匹配整个匹配就失败了。我们看下面的例子:
import recontent Extra stings Hello 1234567 World This is a Regex Demo Extra stings
result re.match(Hello.*?(\d).*?Demo, content)
print(result)这里的字符串以 Extra 开头正则表达式却以 Hell0 开头其实整个正则表达式是字符串的一部但这样匹配是失败的。运行结果如下:
None因为 match方法在使用时需要考虑目标字符串开头的内容因此在做匹配时并不方便。它更适合检测某个字符串是否符合某个正则表达式的规则。
这里就有另外一个方法 search,它在匹配时会扫描整个字符串,然后返回第一个匹配成功的结果也就是说正则表达式可以是字符串的一部分。在匹配时search方法会依次以每个字符作为开头扫描字符串直到找到第一个符合规则的字符串然后返回匹配内容;如果扫描完还没有找到符合规则的字符串就返回 None。
我们把上面代码中的 match方法修改成 search:
import recontent Extra stings Hello 1234567 World This is a Regex Demo Extra stings
result re.search(Hello.*?(\d).*?Demo, content)
print(result)
print(result.group(1))再看下运行结果:
re.Match object; span(13, 53), matchHello 1234567 World This is a Regex Demo
1234567这时就得到了匹配结果。 因此为了匹配方便尽量使用search 方法。 下面再用几个实例来看看search方法的用法 首先这里有一段待匹配的 HTML文本接下来写几个正则表达式实例实现相应信息的提取:
html div idsongs-list
h2 classtitle经典老歌/h2
p classintroduction
经典老歌列表
/p
ul idlist classlist-group
li data-view2一路上有你/li
li data-view7
a href/2.mp3 singer任贤齐
沧海一声笑
/a
/li
li data-view4 classactive
a href/3.mp3 singer齐秦往事随风/a
/li
li data-view6 a href/4.mp3 singerbeyond光辉岁月/a/li
li data-view5a href/5.mp3 singer陈慧琳记事本/a
/li
li data-view5a href/6.mp3 singer邓丽君但愿人长久/a
/li
/ul
/div可以观察到u 节点里有许多 1i 节点这些1i节点中有的包含a节点有的不包含。a节点还有一些相应的属性–超链接和歌手名。
首先我们尝试提取 class 为 active 的li节点内部的超链接包含的歌手名和歌名也就是说需要提取第三个 li 节点下a节点的 singer 属性和文本。
此时正则表达式可以以 li 开头然后寻找一个标志符 active中间的部分可以用.?来匹配。接下来因为要提取singer 这个属性值所以还需要写人 singer(.?)这里把需要提取的部分用小括号括了起来以便用 group 方法提取出来小括号的两侧边界是双引号。然后还需要匹配a节点的文本此文本的左边界是右边界是。然后目标内容依然用(.*?)来匹配所以最后的正则表达式就变成了:
li.*?active.*?singer(.*?)(.*?)/a再调用 search方法它会搜索整个HTML文本找到符合上述正则表达式的第一个内容并返回。
另外由于代码中有换行所以search方法的第三个参数需要传入re.s。于是整个匹配代码如下:
result re.search(li.*?active.*?singer(.*?)(.*?)/a, html, re.S)
if result:print(result.group(1), result.group(2))由于需要获取的歌手和歌名都已经用小括号包围所以可以用 group 方法获取。运行结果如下:
齐秦 往事随风可以看到这正是class为active的 li节点内部的超链接包含的歌手名和歌名如果正则表达式不加 active(也就是匹配不带 class 为 active 的节点内容 )会怎样呢?我们将正则表达式中的 active 去掉代码改写如下:
result re.search(li.*?singer(.*?)(.*?)/a, html, re.S)
if result:print(result.group(1), result.group(2))由于 search 方法会返回第一个符合条件的匹配目标于是这里结果就变了:
任贤齐
沧海一声笑把 active 标签去掉后从字符串开头开始搜索此时符合条件的节点就变成了第二个 li 节点后面的就不再匹配所以运行结果就变成第二个li节点中的内容。
注意在上面的两次匹配中search方法的第三个参数都加了re.S这使得.*?可以匹配换行所以含有换行的 li节点被匹配到了。如果我们将其去掉结果会是什么?去掉re.S 的代码如下:
result re.search(li.*?singer(.*?)(.*?)/a, html)
if result:print(result.group(1), result.group(2))运行结果如下:
beyond 光辉岁月可以看到结果变成了第四个 li 节点的内容。这是因为第二个和第三个 li节点都包含换行符去掉 re.S之后.*?已经不能匹配换行符所以正则表达式不会匹配这两个li 节点而第四个li节点中不包含换行符可以成功匹配。 由于绝大部分 HTML文本包含换行符所以需要尽量加上re.S修饰符以免出现匹配不到的问题。
findall
介绍完了 search 方法的用法它可以返回与正则表达式相匹配的第一个字符串。如果想要获取与正则表达式相匹配的所有字符串该如何处理呢?这就要借助findall方法了。
还是用上面的 HTML文本如果想获取其中所有a节点的超链接、歌手和歌名.可以将 search方法换成 findall 方法。其返回结果是列表类型需要通过遍历来依次获取每组内容。
results re.findall(li.*?href(.*?).*?singer(.*?)(.*?)/a, html, re.S)
print(results)
print(type(results))
for result in results:print(result)print(result[0], result[1], result[2])运行结果如下:
[(/2.mp3, 任贤齐, \n沧海一声笑\n), (/3.mp3, 齐秦, 往事随风), (/4.mp3, beyond, 光辉岁月), (/5.mp3, 陈慧琳, 记事本), (/6.mp3, 邓丽君, 但愿人长久)]
class list
(/2.mp3, 任贤齐, \n沧海一声笑\n)
/2.mp3 任贤齐
沧海一声笑(/3.mp3, 齐秦, 往事随风)
/3.mp3 齐秦 往事随风
(/4.mp3, beyond, 光辉岁月)
/4.mp3 beyond 光辉岁月
(/5.mp3, 陈慧琳, 记事本)
/5.mp3 陈慧琳 记事本
(/6.mp3, 邓丽君, 但愿人长久)
/6.mp3 邓丽君 但愿人长久可以看到返回的列表中的每个元素都是元组类型我们用索引依次取出每个条目即可。 总结一下如果只想获取匹配到的第一个字符串可以用 search 方法;如果需要提取多个内容可以用 findall 方法。
sub
除了使用正则表达式提取信息有时候还需要借助它来修改文本。例如想要把一串文本中的所有数字都去掉如果只用字符串的replace方法未免太烦琐了这时可以借助sub方法。
import recontent 54aK54yr5oiR54ix5L2g
content re.sub(\d, , content)
print(content)运行结果如下:
aKyroiRixLg这里往 sub 方法的第一个参数中传入 \d 以匹配所有的数字往第二个参数中传人把数字替换成的字符串(如果去掉该参数可以赋值为空)第三个参数是原字符串。 在上面的 HTML 文本中如果想获取所有li节点的歌名直接用正则表达式来提取可能比较烦琐。例如写成这样:
results re.findall(li.*?\s*?(a.*?)?(\w)(/a)?\s*?/li, html, re.S)
for result in results:print(result[1])运行结果如下:
一路上有你
往事随风
光辉岁月
记事本
但愿人长久而此时借助 sub 方法就比较简单了。可以先用 sub 方法将a节点去掉只留下文本然后再利用findall提取就好了:
html re.sub(a.*?|/a, , html)
print(html)
results re.findall(li.*?(.*?)/li, html, re.S)
for result in results:print(result.strip())运行结果如下
div idsongs-list
h2 classtitle经典老歌/h2
p classintroduction
经典老歌列表
/p
ul idlist classlist-group
li data-view2一路上有你/li
li data-view7沧海一声笑/li
li data-view4 classactive
往事随风
/li
li data-view6 光辉岁月/li
li data-view5记事本
/li
li data-view5但愿人长久
/li
/ul
/div
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久可以看到经过 sub 方法处理后a节点就没有了然后通过 findall 方法直接提取即可。可以发现在适当的时候借助 sub 方法可以起到事半功倍的效果。
compile
前面所讲的方法都是用来处理字符串的方法最后再介绍一下compile 方法这个方法可以将正则字符串编译成正则表达式对象以便在后面的匹配中复用。实例代码如下:
import recontent1 2019-12-15 12:00
content2 2019-12-17 12:55
content3 2019-12-22 13:21
pattern re.compile(\d{2}:\d{2})
result1 re.sub(pattern, , content1)
result2 re.sub(pattern, , content2)
result3 re.sub(pattern, , content3)
print(result1, result2, result3)这个实例里有3个日期我们想分别将这3个日期中的时间去掉这时可以借助 sub方法。该方法的第一个参数是正则表达式但是这里没有必要重复写3个同样的正则表达式此时就可以借助compile 方法将正则表达式编译成一个正则表达式对象以便复用。
运行结果如下:
2019-12-15 2019-12-17 2019-12-22 另外compile 还可以传人修饰符例如re.s等修饰符这样在 search、findall 等方法中就不需要额外传了。所以可以说 compile 方法是给正则表达式做了一层封装以便我们更好地复用。
总结
到此为止正则表达式的基本用法就介绍完了后面会通过具体的实例来巩固这些方法。
