三亚做网站推广,少主网络建站,好用的网页设计软件,打码网站怎么做接口主流程#xff1a;获取数据#xff0c;解析数据#xff0c;保存数据
from bs4 import BeautifulSoup #网页解析获取数据
import re #正则表达式
import urllib.request,urllib.error #获取网页数据
import sqlite3 #轻量级数据库
import xlwt #进行excel操作
#影视详情…主流程获取数据解析数据保存数据
from bs4 import BeautifulSoup #网页解析获取数据
import re #正则表达式
import urllib.request,urllib.error #获取网页数据
import sqlite3 #轻量级数据库
import xlwt #进行excel操作
#影视详情链接的正则表达式
findLinkre.compile(ra href(.*?))
#影视图片
findImgSrcre.compile(rimg.*?src(.*?),re.S) #re.S让换行符包含在字符串中
#影片片名
findTitlere.compile(rspan classtitle(.*?)/span)
#影片评分
findRatingre.compile(rspan classrating_num propertyv:average(.*?)/span)
#找到评价人数
findJudgere.compile(rspan(\d*?)人评价/span)
#找到概况
findInqre.compile(rspan classinq(.*?)/span)
#找到影片的相关内容
findBdre.compile(rp class(.*?)/p,re.S)
def main():#要爬取的网页链接baseurlhttps://movie.douban.com/top250?startsavepath豆瓣电影Top250.xls#1.爬取网页datalistgetData(baseurl)#2.保存数据saveData(datalist,savepath)
def getData(baseurl):datalist[] #用来存储网页爬取的信息for i in range(0,10): #调用获取页面信息的函数urlbaseurlstr(i*25)htmlaskURL(url) #保存获取的网页源码#2.逐一解析数据soupBeautifulSoup(html,html.parser)# print(soup.find_all(div,class_item))for item in soup.find_all(div,class_item):data[] #保存一部电影所有信息itemstr(item)linkre.findall(findLink,item)[0]data.append(link)imgSrcre.findall(findImgSrc,item)[0]data.append(imgSrc)titlesre.findall(findTitle,item)if(len(titles)2):ctitletitles[0]data.append(ctitle)etitletitles[1].replace(/,) #消除转义字符data.append(etitle)else:data.append(titles[0])data.append( )ratingre.findall(findRating,item)[0]data.append(rating)judgeNumre.findall(findJudge,item)[0]data.append(judgeNum)inqre.findall(findInq,item)if len(inq)!0:inqinq[0].replace(。,)data.append(inq)else:data.append( )bdre.findall(findBd,item)[0]bdre.sub(br(\s)?/(\s)?,,bd)bdre.sub(/,,bd)data.append(bd.strip())datalist.append(data)return datalistdef askURL(url):head{ #模拟浏览器的头部信息向豆瓣服务器发送消息User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0} #用户代理告诉豆瓣服务器我们是什么类型的机器requesturllib.request.Request(url,headershead)htmltry:responseurllib.request.urlopen(request)htmlresponse.read().decode(utf-8)except urllib.error.URLError as e:if hasattr(e,code):print(e.code)if hasattr(e,reason):print(e.reason)# print(html)return html
def saveData(datalist,savepath):print(save...........)bookxlwt.Workbook(encodingutf-8,style_compression0) #创建workbook对象sheetbook.add_sheet(豆瓣电影Top250,cell_overwrite_okTrue) #创建工作表col(电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,相关信息)for i in range(0,8):sheet.write(0,i,col[i]) #列名for i in range(0,250):datadatalist[i]for j in range(0,8):sheet.write(i1,j,data[j])book.save(savepath)if __name____main__:main()print(爬取完毕)通过给出的基础网址链接传入getData函数中进行拼接得到每页的网址链接通过再次传入askURL函数中得到每页的html源码并使用BeautifulSoup模块来解析html源码使用其中的find_all方法来查找每个符合特定条件的元素循环遍历将每个元素正则匹配提取出我们需要的片名评价人数评分等信息并逐一添加到列表data中处理完一个电影一个div元素就把data添加到总的datalist列表中进而得到所有电影的信息并且以列表的形式进行存储在askURL部分主要是通过urllib.request.Request向服务器发送请求并得到响应,这里创建了一个请求对象这个过程中模拟了浏览器的头部信息headershead)防止一些网站的反爬机制导致的爬取失败之后还需要使用urllib.request.urlopenrequest),来得到响应对象通过对响应对象读取和解码之后就能得到该页的网页源码html在数据保存阶段则是通过xlwt库创建workbook对象然后在这个对象中添加工作表来写入爬取到的信息首先要在第一行写入列名之后从之前爬取下来存储在datalist的嵌套列表中获取每部电影的数据datalist中的每个元素是一个列表也就是一部电影逐一写入并最终sava(保存路径)
