卖家如何做阿里巴巴国际网站,亚马逊服务器做影视网站,绵阳网站建设网站建设,网站性能英杰社区https://bbs.csdn.net/topics/617804998 一、导入必要的模块#xff1a; 这篇博客将介绍如何使用Python编写一个爬虫程序#xff0c;从斗鱼直播网站上获取图片信息并保存到本地。我们将使用requests模块发送HTTP请求和接收响应#xff0c;以及os模块处理文件和目录操…英杰社区https://bbs.csdn.net/topics/617804998 一、导入必要的模块 这篇博客将介绍如何使用Python编写一个爬虫程序从斗鱼直播网站上获取图片信息并保存到本地。我们将使用requests模块发送HTTP请求和接收响应以及os模块处理文件和目录操作。 如果出现模块报错 进入控制台输入建议使用国内镜像源
pip install requests -i https://mirrors.aliyun.com/pypi/simple我大致罗列了以下几种国内镜像源 清华大学
https://pypi.tuna.tsinghua.edu.cn/simple阿里云
https://mirrors.aliyun.com/pypi/simple/豆瓣
https://pypi.douban.com/simple/ 百度云
https://mirror.baidu.com/pypi/simple/中科大
https://pypi.mirrors.ustc.edu.cn/simple/华为云
https://mirrors.huaweicloud.com/repository/pypi/simple/腾讯云
https://mirrors.cloud.tencent.com/pypi/simple/ 二、发送GET请求获取响应数据 设置了请求头部信息以模拟浏览器的请求函数返回响应数据的JSON格式内容。
def get_html(url):header {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36}response requests.get(urlurl, headersheader)# print(response.json())html response.json()return html 如何获取请求头 火狐浏览器 打开目标网页并右键点击页面空白处。选择“检查元素”选项或按下快捷键Ctrl Shift CWindows在开发者工具窗口中切换到“网络”选项卡。刷新页面以捕获所有的网络请求。在请求列表中选择您感兴趣的请求。在右侧的“请求标头”或“Request Headers”部分即可找到请求头信息。 将以下请求头信息复制出来即可 三、代码思路 导入所需的库
import requests
from bs4 import BeautifulSoup
import openpyxl requests 库用于发送HTTP请求获取网页内容。 BeautifulSoup 库用于解析HTML页面的内容。 openpyxl 库用于创建和操作Excel文件。 2.发起HTTP请求获取百度热搜页面内容
url https://top.baidu.com/board?tabrealtime
response requests.get(url)
html response.content 这里使用了 requests.get() 方法发送GET请求并将响应的内容赋值给变量 html。 3.使用BeautifulSoup解析页面内容
soup BeautifulSoup(html, html.parser) 创建一个 BeautifulSoup 对象并传入要解析的HTML内容和解析器类型。 4.提取热搜数据
hot_searches []
for item in soup.find_all(div, {class: c-single-text-ellipsis}):hot_searches.append(item.text) 这段代码通过调用 soup.find_all() 方法找到所有 div 标签并且指定 class 属性为 c-single-text-ellipsis 的元素。 然后将每个元素的文本内容添加到 hot_searches 列表中。 5.保存热搜数据到Excel
workbook openpyxl.Workbook()
sheet workbook.active
sheet.title Baidu Hot Searches 使用 openpyxl.Workbook() 创建一个新的工作簿对象。 调用 active 属性获取当前活动的工作表对象并将其赋值给变量 sheet。 使用 title 属性给工作表命名为 Baidu Hot Searches。 6.设置标题
sheet.cell(row1, column1, value百度热搜排行榜—博主:Yan-英杰) 使用 cell() 方法选择要操作的单元格其中 row 和 column 参数分别表示行和列的索引。 将标题字符串 百度热搜排行榜—博主:Yan-英杰 写入选定的单元格。 7.写入热搜数据
for i in range(len(hot_searches)):sheet.cell(rowi2, column1, valuehot_searches[i]) 使用 range() 函数生成一个包含索引的范围循环遍历 hot_searches 列表。 对于每个索引 i使用 cell() 方法将对应的热搜词写入Excel文件中。 8.保存Excel文件
workbook.save(百度热搜.xlsx) 使用 save() 方法将工作簿保存到指定的文件名 百度热搜.xlsx。 9.输出提示信息
print(热搜数据已保存到 百度热搜.xlsx) 在控制台输出保存成功的提示信息。 四、完整代码: 如果对CSDN周边以及有偿返现任务感兴趣https://bbs.csdn.net/topics/617804998
私信博主进入交流群一起学习探讨
可添加博主Yan--yingjie
如果想免费获取图书也可添加博主微信每周免费送数十本import requests
from bs4 import BeautifulSoup
import openpyxl# 发起HTTP请求获取百度热搜页面内容
url https://top.baidu.com/board?tabrealtime
response requests.get(url)
html response.content# 使用BeautifulSoup解析页面内容
soup BeautifulSoup(html, html.parser)# 提取热搜数据
hot_searches []
for item in soup.find_all(div, {class: c-single-text-ellipsis}):hot_searches.append(item.text)# 保存热搜数据到Excel
workbook openpyxl.Workbook()
sheet workbook.active
sheet.title Baidu Hot Searches# 设置标题
sheet.cell(row1, column1, value百度热搜排行榜—博主:Yan-英杰)# 写入热搜数据
for i in range(len(hot_searches)):sheet.cell(rowi2, column1, valuehot_searches[i])workbook.save(百度热搜.xlsx)
print(热搜数据已保存到 百度热搜.xlsx)效果图: 可视化完整代码 如果对CSDN周边以及有偿返现任务感兴趣https://bbs.csdn.net/topics/617804998
私信博主进入交流群一起学习探讨如果对CSDN周边以及有偿返现任务感兴趣
可添加博主Yan--yingjie
如果想免费获取图书也可添加博主微信每周免费送数十本import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt# 发起HTTP请求获取百度热搜页面内容
url https://top.baidu.com/board?tabrealtime
response requests.get(url)
html response.content# 使用BeautifulSoup解析页面内容
soup BeautifulSoup(html, html.parser)# 提取热搜数据
hot_searches []
for item in soup.find_all(div, {class: c-single-text-ellipsis}):hot_searches.append(item.text)# 设置中文字体
plt.rcParams[font.sans-serif] [SimHei]
plt.rcParams[axes.unicode_minus] False# 绘制条形图
plt.figure(figsize(15, 10))
x range(len(hot_searches))
y list(reversed(range(1, len(hot_searches)1)))
plt.barh(x, y, tick_labelhot_searches, height0.8) # 调整条形图的高度# 添加标题和标签
plt.title(百度热搜排行榜)
plt.xlabel(排名)
plt.ylabel(关键词)# 调整坐标轴刻度
plt.xticks(range(1, len(hot_searches)1))# 调整条形图之间的间隔
plt.subplots_adjust(hspace0.8, wspace0.5)# 显示图形
plt.tight_layout()
plt.show()效果图 【文末送书】 参与活动 1️⃣参与方式关注、点赞、收藏评论(人生苦短我用python) 2️⃣获奖方式程序随机抽取 3位每位小伙伴将获得一本书 3️⃣活动时间截止到 2024-1- 3 22:00:00 内容简介 《Pandas数据分析》详细阐述了与Pandas数据分析相关的基本解决方案主要包括数据分析导论、使用PandasDataFrame、使用Pandas进行数据整理、聚合Pandas DataFrame、使用Pandas和Matplotlib可视化数据、使用Seabom和自定义技术绘图、金融分析、基于规则的异常检测、Python机器学习入门、做出更好的预测、机器学习异常检测等内容。此外该书还提供了相应的示例、代码以帮助读者进一步理解相关方案的实现过程。 《Pandas数据分析》适合作为高等院校计算机及相关专业的教材和教学参考书也可作为相关开发人员的自学用书和参考手册。
购买链接 京东https://item.jd.com/14065178.html 当当http://product.dangdang.com/29599087.html
注活动结束后会在我的主页动态如期公布中奖者包邮到家。
