南宁市做网站,网络服务器无响应原因,微信如何制作自己的公众号,推广公司业务话术Python的详细学习还是需要些时间的。如果有其他语言经验的#xff0c;可以暂时跟着我来写一个简单的例子。
2024年最新python教程全套#xff0c;学完即可进大厂#xff01;#xff08;附全套视频 下载#xff09; (qq.com) 我们计划抓取的数据#xff1a;杭州的天气信息… Python的详细学习还是需要些时间的。如果有其他语言经验的可以暂时跟着我来写一个简单的例子。
2024年最新python教程全套学完即可进大厂附全套视频 下载 (qq.com) 我们计划抓取的数据杭州的天气信息杭州天气 可以先看一下这个网站。 实现数据抓取的逻辑使用python 请求 URL会返回对应的 HTML 信息我们解析 html获得自己需要的数据。很简单的逻辑 第一步创建 Python 文件 写第一段Python代码
if __name__ __main__:url http://www.weather.com.cn/weather/101210101.shtml print(my frist python file) 这段代码类似于 Java 中的 Main 方法。可以直接鼠标右键选择 Run。 第二步请求RUL python 的强大之处就在于它有大量的模块类似于Java 的 jar 包可以直接拿来使用。 我们需要安装一个 request 模块 File - Setting - Product - Product Interpreter 点击如上图的 号就可以安装 Python 模块了。搜索 requests 模块有 s 噢点击 Install。 我们顺便再安装一个 beautifulSoup4 和 pymysql 模块beautifulSoup4 模块是用来解析 html 的可以对象化 HTML 字符串。pymysql 模块是用来连接 mysql 数据库使用的。 相关的模块都安装之后就可以开心的敲代码了。 定义一个 getContent 方法: # 导入相关联的包
import requests
import time
import random
import socket
import http.client
import pymysql
from bs4 import BeautifulSoupdef getContent(url , data None):header{Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8,Accept-Encoding: gzip, deflate, sdch,Accept-Language: zh-CN,zh;q0.8,Connection: keep-alive,User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235} # request 的请求头timeout random.choice(range(80, 180))while True:try:rep requests.get(url,headers header,timeout timeout) #请求url地址获得返回 response 信息rep.encoding utf-8breakexcept socket.timeout as e: # 以下都是异常处理print( 3:, e)time.sleep(random.choice(range(8,15)))except socket.error as e:print( 4:, e)time.sleep(random.choice(range(20, 60)))except http.client.BadStatusLine as e:print( 5:, e)time.sleep(random.choice(range(30, 80)))except http.client.IncompleteRead as e:print( 6:, e)time.sleep(random.choice(range(5, 15)))print(request success)return rep.text # 返回的 Html 全文 在 main 方法中调用 if __name__ __main__:url http://www.weather.com.cn/weather/101210101.shtmlhtml getContent(url) # 调用获取网页信息print(my frist python file) 第三步分析页面数据 定义一个 getData 方法 def getData(html_text):final []bs BeautifulSoup(html_text, html.parser) # 创建BeautifulSoup对象body bs.body #获取bodydata body.find(div,{id: 7d})ul data.find(ul)li ul.find_all(li)for day in li:temp []date day.find(h1).stringtemp.append(date) #添加日期inf day.find_all(p)weather inf[0].string #天气temp.append(weather)temperature_highest inf[1].find(span).string #最高温度,夜间可能没有这个元素需要注意temperature_low inf[1].find(i).string # 最低温度temp.append(temperature_low)temp.append(temperature_highest)final.append(temp)print(getDate success)return final 上面的解析其实就是按照 HTML 的规则解析的。可以打开 杭州天气 在开发者模式中F12看一下页面的元素分布。 在 main 方法中调用 if __name__ __main__:url http://www.weather.com.cn/weather/101210101.shtmlhtml getContent(url) # 获取网页信息result getData(html) # 解析网页信息拿到需要的数据print(my frist python file) 数据写入excel 现在我们已经在 Python 中拿到了想要的数据对于这些数据我们可以先存放起来比如把数据写入 csv 中。 定义一个 writeDate 方法 import csv #导入包def writeData(data, name):with open(name, a, errorsignore, newline) as f:f_csv csv.writer(f)f_csv.writerows(data)print(write_csv success) 在 main 方法中调用 if __name__ __main__:url http://www.weather.com.cn/weather/101210101.shtmlhtml getContent(url) # 获取网页信息result getData(html) # 解析网页信息拿到需要的数据writeData(result, D:/py_work/venv/Include/weather.csv) #数据写入到 csv文档中print(my frist python file) 执行之后呢再指定路径下就会多出一个 weather.csv 文件可以打开看一下内容。 到这里最简单的数据抓取--储存就完成了。 数据写入数据库 因为一般情况下都会把数据存储在数据库中所以我们以 mysql 数据库为例尝试着把数据写入到我们的数据库中。 第一步创建WEATHER 表 创建表可以在直接在 mysql 客户端进行操作也可能用 python 创建表。在这里 我们使用 python 来创建一张 WEATHER 表。 定义一个 createTable 方法之前已经导入了 import pymysql 如果没有的话需要导入包 def createTable():# 打开数据库连接db pymysql.connect(localhost, zww, 960128, test)# 使用 cursor() 方法创建一个游标对象 cursorcursor db.cursor()# 使用 execute() 方法执行 SQL 查询cursor.execute(SELECT VERSION())# 使用 fetchone() 方法获取单条数据.data cursor.fetchone()print(Database version : %s % data) # 显示数据库版本可忽略作为个栗子# 使用 execute() 方法执行 SQL如果表存在则删除cursor.execute(DROP TABLE IF EXISTS WEATHER)# 使用预处理语句创建表sql CREATE TABLE WEATHER (w_id int(8) not null primary key auto_increment, w_date varchar(20) NOT NULL ,w_detail varchar(30),w_temperature_low varchar(10),w_temperature_high varchar(10)) DEFAULT CHARSETutf8 # 这里需要注意设置编码格式不然中文数据无法插入cursor.execute(sql)# 关闭数据库连接db.close()print(create table success) 在 main 方法中调用 if __name__ __main__:url http://www.weather.com.cn/weather/101210101.shtmlhtml getContent(url) # 获取网页信息result getData(html) # 解析网页信息拿到需要的数据writeData(result, D:/py_work/venv/Include/weather.csv) #数据写入到 csv文档中createTable() #表创建一次就好了注意print(my frist python file) 执行之后去检查一下数据库看一下 weather 表是否创建成功了。 第二步批量写入数据至 WEATHER 表 定义一个 insertData 方法 def insert_data(datas):# 打开数据库连接db pymysql.connect(localhost, zww, 960128, test)# 使用 cursor() 方法创建一个游标对象 cursorcursor db.cursor()try:# 批量插入数据cursor.executemany(insert into WEATHER(w_id, w_date, w_detail, w_temperature_low, w_temperature_high) value(null, %s,%s,%s,%s), datas)# sql INSERT INTO WEATHER(w_id, \# w_date, w_detail, w_temperature) \# VALUES (null, %s,%s,%s) % \# (data[0], data[1], data[2])# cursor.execute(sql) #单条数据写入# 提交到数据库执行db.commit()except Exception as e:print(插入时发生异常 e)# 如果发生错误则回滚db.rollback()# 关闭数据库连接db.close() 在 main 方法中调用 if __name__ __main__:url http://www.weather.com.cn/weather/101210101.shtmlhtml getContent(url) # 获取网页信息result getData(html) # 解析网页信息拿到需要的数据writeData(result, D:/py_work/venv/Include/weather.csv) #数据写入到 csv文档中# createTable() #表创建一次就好了注意insertData(result) #批量写入数据print(my frist python file) 检查执行这段 Python 语句后看一下数据库是否有写入数据。有的话就大功告成了。 Python学习籽料直接戳2024年最新python教程全套学完即可进大厂附全套视频 下载 (qq.com)
