中文域名网站跳转,西安做h5网站,建网站的8个详细步骤,如何建立自己的网站一、网页信息#xff08;示例网址#xff1a;https://space.bilibili.com/3493110839511225/video#xff09; 二、查看响应数据 三、查看数据包内容 四、相关代码#xff08;代码内容未进行翻页爬取#xff09;
# Time: 2024/1/19 16:42
# Author: 马龙强
# File: 采集B…一、网页信息示例网址https://space.bilibili.com/3493110839511225/video 二、查看响应数据 三、查看数据包内容 四、相关代码代码内容未进行翻页爬取
# Time: 2024/1/19 16:42
# Author: 马龙强
# File: 采集B站up主信息.py
# software: PyCharm网址https://space.bilibili.com/3493110839511225/video
数据标题、BV号、播放量、评论、弹幕。。。。
数据包https://api.bilibili.com/x/space/wbi/arc/search
代码步骤发送请求、获取数据、解析数据、保存数据多页数据采集 - 采集up所有视频信息数据分析链接变化规律url中- pn 页码- dm_img_list 鼠标移动数据- w_rid MD5加密参数- wts 时间戳发生变化
import requestsimport datetime #导入时间模块
import csv
创建文件对象
f open(视频信息.csv,modew,encodingutf-8,newline)
:.*csv_writer csv.DictWriter(f,fieldnames[标题,播放量,评论,弹幕,时长,bv号,日期,上传时间,])
csv_writer.writeheader()#模拟浏览器
headers {Cookie: buvid394A5BDE1-CDDC-12C9-0FD4-3305DE8DCE8D76087infoc; b_nut1699609476; i-wanna-go-back-1; b_ut7; _uuid39D4B639-9B3B-D881-3D23-3998B94CC4C677381infoc; enable_web_pushDISABLE; buvid4EFEE2640-75A3-B07D-5AFC-09D951D5581877370-023111017-YCb7ryWqJwYFnyAAbCP2w%3D%3D; home_feed_column5; browser_resolution1536-746; buvid_fp25ba4d2dc2d9aa5a126e6089b07107f2; CURRENT_FNVAL4048; rpdid|(J~umJRk|Yl0JuYmmY|mR)); header_theme_versionCLOSE; sid4hrgjlgl; PVID1; b_lsid45510CAB2_18D20E83DF5; bili_ticketeyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MDU5MTMzMDcsImlhdCI6MTcwNTY1NDA0NywicGx0IjotMX0.IYXXtNtqUAEUWNSZrLv_iFUYwmYj-ml3PrjnDLtk_Q4; bili_ticket_expires1705913247,User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0
}
#请求网址请求网址较长进行分段写问号前面链接地址问号后面查询参数请求参数
批量替换方法1选择需要被替换的内容ctrlR2勾选 .*3使用正则替换命令(.*?):(.*)$1:$2,url https://api.bilibili.com/x/space/wbi/arc/search?mid3493110839511225ps30tid0pn1keywordorderpubdateplatformwebweb_location1550101order_avoidedtruedm_img_list[%7B%22x%22:1761,%22y%22:324,%22z%22:0,%22timestamp%22:84,%22type%22:0%7D,%7B%22x%22:1609,%22y%22:444,%22z%22:44,%22timestamp%22:197,%22type%22:0%7D,%7B%22x%22:1635,%22y%22:483,%22z%22:100,%22timestamp%22:341,%22type%22:0%7D,%7B%22x%22:1678,%22y%22:618,%22z%22:74,%22timestamp%22:445,%22type%22:0%7D]dm_img_strV2ViR0wgMS4wIChPcGVuR0wgRVMgMi4wIENocm9taXVtKQdm_cover_img_strQU5HTEUgKEludGVsLCBJbnRlbChSKSBVSEQgR3JhcGhpY3MgRGlyZWN0M0QxMSB2c181XzAgcHNfNV8wLCBEM0QxMSlHb29nbGUgSW5jLiAoSW50ZWw_ridc7ac0e5f775a43c5784ae18cdb074efbwts1705737812#发送请求
response requests.get(urlurl,headersheaders)
获取数据获取服务器返回响应数据
- response.text 文本
- response.json() json
- response.content 获取相应二进制数据
保存数据图片、音频、视频、特定格式文件
#解析数据# print(response.text) #字符串
# print(response.json()) #字典键值对取值根据冒号左边的内容[键]提取冒号右边的内容[值]
dit {A:a,B:{B1:b},C:{C1:[{C2:c2}]}}
提取b - dit[B][B1]
提取c2 - dit[][]
json_data response.json()
info_list json_data[data][list][vlist]
#for循环遍历
for index in info_list:#上传时间戳# data_time index[created]data_time str(datetime.datetime.fromtimestamp(index[created]))date data_time.split( )[0] #日期up_time data_time.split( )[1] #上传时间提取具体数据内容dit {标题:index[title],播放量:index[play],评论:index[comment],弹幕:index[video_review],时长:index[length],bv号:index[bvid],日期:date,上传时间:up_time}#写入数据csv_writer.writerow(dit)print(dit)
五、爬取内容
