郑州做网站设计,自己做的网站怎么放图片,上海网络营销上海网络推广,做外贸网站建设文章目录 前言项目实操明确目标分析过程代码实现 前言
吃什么不会胖——这是我前段时间在健身时比较关注的话题。
相信很多人#xff0c;哪怕不健身#xff0c;也会和我一样注重饮食的健康#xff0c;在乎自己每天摄入的食物热量。
不过#xff0c;生活中应该很少有人会… 文章目录 前言项目实操明确目标分析过程代码实现 前言
吃什么不会胖——这是我前段时间在健身时比较关注的话题。
相信很多人哪怕不健身也会和我一样注重饮食的健康在乎自己每天摄入的食物热量。
不过生活中应该很少有人会专门去统计自己每日摄入的食物热量。显然这样做多少有一些麻烦。可能你得下载一个专门查询热量的APP填写食物的名字一个个地去查询。
但其实利用爬虫我们可以很简单就爬取到这些食物的热量信息不用费力就能知道自己摄入了多少食物热量。
食物的数量有千千万如果我们要爬取食物热量的话这个数据量必然很大。
可能你会想到可以使用多协程来爬取。确实使用多协程来爬取大量的数据是非常合理且明智的选择。
关于多协程的用法我们在上一关已经讲过了这里照旧简单复习一下。 项目实操
说回爬取食物热量的事如果我们要爬取的话那就得选定一个有存储食物热量信息的网站才能爬到数据。
我倒是知道一个这样的网站——薄荷网。它是一个跟健身减肥有关且可以查询食物数据的网站。 我们选取这个网站进行食物热量的爬取的话既能将上一关学到的协程知识实践起来又能获得一份食物热量表还是蛮两全其美的。
那么我们这一关的项目就可以定为用多协程爬取薄荷网的食物热量。
你也知道我们在做一个项目时不是上来就写代码的最先要做的是明确目标。
明确目标 现在请你先用浏览器打开薄荷网的链接
http://www.boohee.com/food/
打开了吗一定要真的打开了哦
简单浏览一下这个网站你会发现一共有11个常见食物分类—— 点击【谷薯芋、杂豆、主食】这个分类你会看到在食物分类的右边有10页食物的记录包含了这个分类里食物的名字及其热量信息。点击食物的名字还会跳转到食物的详情页面。 至此我们的项目目标可以定为用多协程爬取薄荷网11个常见食物分类里的食物信息包含食物名、热量、食物详情页面链接。
分析过程 目标明确好后我们接着【分析过程】这一步骤对于项目成功与否起着关键的作用。
我们可以从爬虫四步获取数据→解析数据→提取数据→存储数据入手开始逐一分析。
想要获得食物热量的数据我们得先判断这些数据具体存在哪里。 第7关的时候我们讲过判断数据存储在哪里的方法。请你打开http://www.boohee.com/food/group/1网站右击打开“检查”工具并点击Network然后刷新页面。点击第0个请求1看Response。
我们能在Response里找到食物的信息说明我们想要的数据存在HTML里。
再看第0个请求1的Headers可以发现薄荷网的网页请求方式是get。 知道了请求方式是get我们就知道可以用requests.get()获取数据。
先关闭“检查”工具。我们接着来观察每个常见食物分类的网址和每一页食物的网址有何规律。
点击第一个分类【谷薯芋、杂豆、主食】网址显示的是
http://www.boohee.com/food/group/1
点击第二个分类【蛋类、肉类及制品】网址变成
http://www.boohee.com/food/group/2
我们可以做个猜想网址的group参数代表着常见食物分类后面的数字代表着这是第几个类。
只要再多点击几个常见食物分类看看就能验证我们的猜想。 果然常见食物分类的网址构造是有规律的。前10个常见食物分类的网址都是
http://www.boohee.com/food/group/数字
唯独最后一个常见食物分类【菜肴】的网址与其他不同是
http://www.boohee.com/food/view_menu
每个常见食物分类网址的规律我们找到了。现在看回【谷薯芋、杂豆、主食】这个分类点击翻到第2页的食物记录我们看看网址又会发生怎样的变化。 网址从http://www.boohee.com/food/group/1变成了
http://www.boohee.com/food/group/1?page2
网址多了page这个参数。数字2是不是第2页的意思我们往后再翻两页看看。 原来?page数字真的是代表页数的意思。只要改变page后面的数字就能实现翻页。
可是为什么第1页的食物记录的网址在最开始是
http://www.boohee.com/food/group/1没有加?page1呢
难道是网站默认不显示的我们试下给http://www.boohee.com/food/group/1加上?page1看看会怎样。
http://www.boohee.com/food/group/1?page1
你会发现其实加上了?page1打开的同样还是第1页的食物记录。
基于我们上面的观察可以得出薄荷网每个食物类别的每一页食物记录的网址规律—— 接下来我们来分析怎么解析数据和提取数据。
前面我们知道薄荷网的食物热量的数据都存在HTML里所以等下就可以用BeautifulSoup模块来解析。
至于怎么提取数据我们得先弄清楚HTML的结构才行。 右击打开“检查”工具看Elements点击光标把鼠标移到食物【Easy Fun 紫薯营养粥】这里会发现在li classitem clearfix元素下藏有食物的信息包括食物详情的链接、食物名和热量。
你点击href“/shiwu/fdd9b123”就会跳转到【Easy Fun 紫薯营养粥】的详情页面。 你再把鼠标接着移到其他食物上你就会发现原来每个食物的信息都被分别藏在了一个li classitem clearfix…/li标签里。每页食物记录里有10个食物刚好对应上网页源代码里的10个li classitem clearfix…/li标签。 这么看来的话我们用find_all/find就能提取出
…标签下的食物详情链接、名称和热量。 提取完数据我们从csv和openpyxl模块中任意选择使用其中一个模块把数据存储起来项目就可以完工啦。
总结一下我们刚刚分析得出的思路 代码实现
下面应该是你做项目时最期待的一步——代码实现。
基于前面的【分析过程】此时我们已经有了实现项目的思路。我们只要把这些思路变成代码就能完成项目——用多协程爬到薄荷网的食物热量数据。
正式开始写代码~
#导入所需的库和模块from gevent import monkey
monkey.patch_all()
#让程序变成异步模式。
import gevent,requests, bs4, csv
from gevent.queue import Queue写代码的第一件事都是先导入我们所需要的库和模块。
根据项目目标和分析过程得出的思路我们知道需要用到实现协程功能的gevent库、queue、monkey模块以及requests、BeautifulSoup、csv模块。
接下来的代码需要由你来写。请你按照要求先试着写出来等下我再给你看我写的代码。
代码要求导入所需模块并根据前面分析得出的网址规律用for循环构造出前3个常见食物类别的前3页食物记录的网址和第11个常见食物类别的前3页食物记录的网址并把这些网址放进队列打印出来。 参考代码在这里
#导入所需的库和模块
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queuework Queue()
#创建队列对象并赋值给work。#前3个常见食物分类的前3页的食物记录的网址
url_1 http://www.boohee.com/food/group/{type}?page{page}
for x in range(1, 4):for y in range(1, 4):real_url url_1.format(typex, pagey)work.put_nowait(real_url)
#通过两个for循环能设置分类的数字和页数的数字。
#然后把构造好的网址用put_nowait方法添加进队列里。#第11个常见食物分类的前3页的食物记录的网址
url_2 http://www.boohee.com/food/view_menu?page{page}
for x in range(1,4):real_url url_2.format(pagex)work.put_nowait(real_url)
#通过for循环能设置第11个常见食物分类的食物的页数。
#然后把构造好的网址用put_nowait方法添加进队列里。print(work)
#打印队列用Queue()创建了空的队列。通过两个for循环构造了前3个常见食物分类的前3页的食物记录的网址。
由于第11个常见食物分类的网址比较特殊要分开构造。然后把构造好的网址用put_nowait方法都放进队列里。
你可以运行这个代码把队列打印出来看看。
打印结果
Queue queuedeque([http://www.boohee.com/food/group/1?page1, http://www.boohee.com/food/group/1?page2, http://www.boohee.com/food/group/1?page3, http://www.boohee.com/food/group/2?page1, http://www.boohee.com/food/group/2?page2, http://www.boohee.com/food/group/2?page3, http://www.boohee.com/food/group/3?page1, http://www.boohee.com/food/group/3?page2, http://www.boohee.com/food/group/3?page3, http://www.boohee.com/food/view_menu?page1, http://www.boohee.com/food/view_menu?page2, http://www.boohee.com/food/view_menu?page3])一共打印出了12个网址分别是【谷薯芋、杂豆、主食】前3页食物记录的网址、【蛋类、肉类及制品】前3页食物记录的网址、【奶类及制品】前3页食物记录的网址和最后一个常见食物分类【菜肴】前3页食物记录的网址。
作为教学演示我们这里不会真的把薄荷网的11个常见食物分类里的所有页数的食物都爬取下来。因为这样做会给薄荷网的服务器增添负担并不是道义的做法所以我也不推荐你这么去做。
接着我们要写的是最核心的爬取代码——使用gevent帮我们爬取数据。
你还记得用gevent实现多协程的重点是什么吗 我们得先定义一个爬取函数。请认真看下面的代码后面练习环节需要你自己把这些代码都写出来的。
def crawler():
#定义crawler函数headers {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36}#添加请求头while not work.empty():#当队列不是空的时候就执行下面的程序。url work.get_nowait()#用get_nowait()方法从队列里把刚刚放入的网址提取出来。res requests.get(url, headersheaders)#用requests.get获取网页源代码。bs_res bs4.BeautifulSoup(res.text, html.parser)#用BeautifulSoup解析网页源代码。foods bs_res.find_all(li, class_item clearfix)#用find_all提取出li classitem clearfix标签的内容。for food in foods:#遍历foodsfood_name food.find_all(a)[1][title]#用find_all在li classitem clearfix标签下提取出第2个a元素title属性的值也就是食物名称。food_url http://www.boohee.com food.find_all(a)[1][href]#用find_all在li classitem clearfix元素下提取出第2个a元素href属性的值跟http://www.boohee.com组合在一起就是食物详情页的链接。food_calorie food.find(p).text#用find在li classitem clearfix标签下提取p元素再用text方法留下纯文本也提取出了食物的热量。 print(food_name)#打印食物的名称。上面定义crawler函数的代码可能你看到提取数据的部分会有疑惑的点。 不过对照着看HTML的结构应该就能解开你的疑惑。我们想要的食物详情链接和名称在li classitem clearfix标签的第2个a元素里用find_all就能提取出来。食物热量在p元素里我们用find提取就可以。
定义完了crawler函数整个核心代码就差用gevent.spawn()创建任务和用gevent.joinall()执行任务启动协程就能开始爬取我们想要的数据。
我希望最后的核心能由你来补全。所以请你在以上代码的基础上写出crawler函数和启动协程的代码完成爬取数据的任务。
顺利写出来了吗如果没有顺利写出来我希望你在看完下面的完整代码之后能再回去重写一遍。
参考代码
#导入所需的库和模块from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queuework Queue()
#创建队列对象并赋值给work。#前3个常见食物分类的前3页的食物记录的网址
url_1 http://www.boohee.com/food/group/{type}?page{page}
for x in range(1, 4):for y in range(1, 4):real_url url_1.format(typex, pagey)work.put_nowait(real_url)
#通过两个for循环能设置分类的数字和页数的数字。
#然后把构造好的网址用put_nowait添加进队列里。#第11个常见食物分类的前3页的食物记录的网址
url_2 http://www.boohee.com/food/view_menu?page{page}
for x in range(1,4):real_url url_2.format(pagex)work.put_nowait(real_url)
#通过for循环能设置第11个常见食物分类的食物的页数。
#然后把构造好的网址用put_nowait添加进队def crawler():
#定义crawler函数headers {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36}#添加请求头while not work.empty():#当队列不是空的时候就执行下面的程序。url work.get_nowait()#用get_nowait()方法从队列里把刚刚放入的网址提取出来。res requests.get(url, headersheaders)#用requests.get获取网页源代码。bs_res bs4.BeautifulSoup(res.text, html.parser)#用BeautifulSoup解析网页源代码。foods bs_res.find_all(li, class_item clearfix)#用find_all提取出li classitem clearfix标签的内容。for food in foods:#遍历foodsfood_name food.find_all(a)[1][title]#用find_all在li classitem clearfix标签下提取出第2个a元素title属性的值也就是食物名称。food_url http://www.boohee.com food.find_all(a)[1][href]#用find_all在li classitem clearfix标签下提取出第2个a元素href属性的值跟http://www.boohee.com组合在一起就是食物详情页的链接。food_calorie food.find(p).text#用find在li classitem clearfix标签下提取p元素再用text方法留下纯文本就提取出了食物的热量。 print(food_name)#打印食物的名称。tasks_list []
#创建空的任务列表
for x in range(5):
#相当于创建了5个爬虫task gevent.spawn(crawler)#用gevent.spawn()函数创建执行crawler()函数的任务。tasks_list.append(task)#往任务列表添加任务。
gevent.joinall(tasks_list)
#用gevent.joinall方法启动协程执行任务列表里的所有任务让爬虫开始爬取网站。你可以运行这个代码看看能不能成功爬取到食物的数据。
我运行的结果是
Easy Fun 营养粉丝(香菇炖鸡)又叫Easy Fun 营养粉丝香菇炖鸡味
白粥又叫白粥粳米稀饭大米粥白米粥米粥大米汤汤
Easy Fun 营养粉丝(番茄鸡蛋)又叫Easy Fun 营养粉丝番茄鸡蛋味
Easy Fun 低脂咖喱鸡饭
Easy Fun 抹茶红豆麦片
Easy Fun 高蛋白微波蛋糕预拌粉(香浓可可味)
Easy Fun 红枣黑米圈又叫红枣黑米、Easy Fun 薄荷健康红枣黑米圈
Easy Fun 山药紫薯圈
稀饭又叫白粥籼米大米粥白米粥
鲜玉米又叫玉米鲜、苞谷、珍珠米、棒子、玉蜀黍、苞米、六谷、
虾又叫对虾、鲜虾仁、虾仁
鸭肉又叫鸭子、鹜肉、家凫肉
猪蹄又叫猪脚、猪手、猪蹄爪
猪肉(瘦)又叫猪精肉瘦肉
鸡蛋白(鸡蛋清)又叫鸡蛋白、鸡蛋清、蛋清、蛋白
火腿肠
鸡胸肉又叫鸡柳肉、鸡里脊肉、鸡胸、鸡胸脯肉
荷包蛋(油煎)又叫荷包蛋、煎蛋、煎荷包蛋、煎鸡蛋
咸鸭蛋又叫盐蛋、腌蛋、味蛋
猪肉(肥瘦)又叫豕肉、彘肉
Easy Fun 高纤奇亚籽苏打饼干又叫Easy Fun 高纤 奇亚籽苏打饼干、奇亚籽苏打咸味饼干、苏打饼干、EASY FUN 苏打饼干、Easy Ace 高纤奇亚籽苏打饼干
白薯又叫山芋、红皮山芋地瓜、甘薯、红皮山芋
大米又叫稻米、米、生米
全麦面包又叫全麦面包、全麦吐司、全麦面包片、全麦土司
烙饼
花卷又叫花之卷、大花卷、小花卷
油条又叫小油条
曼可顿 全麦高纤维面包
嘉顿 生命面包 450g
包子(三鲜馅)
燕麦片又叫燕麦
面条(生)又叫面
煮面条又叫面、水煮面、面条煮
籼米粉又叫米线、米粉、粉、排米粉
面包
红薯又叫地瓜、番薯、甘薯、山芋、红薯
小米粥
马铃薯又叫土豆、洋芋、地蛋、山药蛋、洋番薯、土豆、洋芋
包子(猪肉馅)
米饭又叫大米饭饭蒸米、锅巴饭、煮米饭
Easy Fun 高蛋白小酥鱼(藤椒味)
鸡蛋又叫鸡子、鸡卵、蛋
Easy Fun 低脂鸡胸肉肠(香辣味)又叫Easy Fun easy fun 低脂鸡胸肉肠、鸡胸肉肠
Easy Fun 鸡胸肉丝(原味)
Easy Fun 高蛋白小酥鱼(海苔味)又叫Easy Fun 高蛋白海苔鱼酥
Easy Fun 低脂鸡胸肉肠(原味)又叫Easy Fun 低脂鸡胸肉肠、鸡胸肉肠、easyfun 低脂鸡胸肉肠
猪小排又叫排骨、猪排、猪脊骨
鸡(土鸡家养)
鸡(母鸡一年内)
鸡(肉鸡肥)
瓦罐鸡汤(含料)又叫瓦罐汤
瓦罐鸡汤(无料)
猪小排(良杂猪)
猪肉(奶脯)又叫软五花、奶脯、五花肉
猪大排又叫猪排
牛肉(腑肋)又叫牛腩
Easy Fun 低脂鸡胸肉肠(原味)又叫Easy Fun 低脂鸡胸肉肠(原味)、鸡胸肉肠
Easy Fun 低脂鸡蛋干(五香味)
Easy Fun 低脂蛋清鸡肉饼(原味)又叫Easy Fun 低脂蛋清鸡肉饼
草鱼又叫鲩鱼、混子、草鲩、草包鱼、草根鱼、草青、白鲩
酸奶
牛奶又叫纯牛奶、牛乳、全脂牛奶
无糖全脂拿铁又叫拿铁咖啡、拿铁全脂无糖
奶酪又叫乳酪、芝士、起司、计司
酸奶(中脂)
脱脂奶粉
酸奶(调味)
酸奶(果料)又叫果料酸奶
酸奶(果粒)又叫果粒酸奶
蒙牛 高钙牛奶又叫蒙牛袋装高钙牛奶
光明 0脂肪 鲜牛奶又叫光明 0脂肪鲜牛奶
牛奶(强化VAVD)又叫牛乳(强化VAVD)
光明 低脂牛奶
蒙牛 木糖醇酸牛奶又叫蒙牛木糖醇酸奶
低脂奶酪
伊利 无蔗糖酸牛奶(利乐包)150g
蒙牛 酸牛奶(草莓树莓)100g (小盒装)
光明减脂90%脱脂鲜牛奶
伊利优品嘉人优酪乳(原味)
光明 畅优红枣燕麦低脂酸奶
炒上海青又叫炒青菜
番茄炒蛋又叫番茄炒鸡蛋、西红柿炒蛋、柿子炒鸡蛋、番茄炒鸡蛋、西红柿炒鸡蛋、西虹市炒鸡蛋、番茄炒蛋
鸡蛋羹又叫蒸蛋
绿豆汤
素炒小白菜又叫小青菜
烧茄子
绿豆粥又叫绿豆稀饭
菜包子又叫香菇菜包、菜包子、素包子、素包、香菇青菜包、素菜包、香菇青菜包、香菇包子
蛋炒饭又叫黄金炒饭、蛋炒饭
红烧鳓鱼
光明 e益生菌酸牛奶(原味)220ml (袋装)
早餐奶
酸奶(高蛋白)
奶片
全脂牛奶粉
光明 纯牛奶又叫光明牛奶
光明 优倍 高品质鲜牛奶又叫光明 优倍高品质鲜牛奶
光明 优倍 0脂肪 高品质脱脂鲜牛奶
光明 优倍 0乳糖 巴士杀菌调制乳
光明 致优 全鲜乳又叫光明 致优全鲜乳
盐水虾又叫焖鲜虾
清炒绿豆芽又叫有机活体豆苗、炒绿豆芽
葱油饼又叫葱花饼、葱油饼
清炒西葫芦又叫炒西葫、西葫芦丝
西红柿鸡蛋面又叫番茄蛋面、番茄鸡蛋面
酸辣土豆丝
红烧肉
韭菜包子
卤蛋又叫卤鸡蛋
清炒土豆丝
烧麦又叫烧卖、糯米烧卖
炒大白菜又叫大白菜
西红柿鸡蛋汤又叫西红柿蛋汤、西红柿蛋花汤
大饼又叫饼家常饼死面饼
清蒸鱼又叫清蒸鱼、蒸鱼、鱼、蒸洄鱼
酸菜鱼又叫酸汤鱼、酸辣鱼、酸菜鱼、酸辣鱼汤
寿司 自制1又叫寿司卷
麻婆豆腐又叫麻婆豆腐
牛肉面又叫兰州拉面、牛腩面、牛肉拌面
烧包菜丝至此项目的核心代码已经完成只要再加上存储数据的代码我们就完成了整个项目的【代码实现】步骤。
我选取了csv模块来做存储数据的演示。
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queuework Queue()
url_1 http://www.boohee.com/food/group/{type}?page{page}
for x in range(1, 4):for y in range(1, 4):real_url url_1.format(typex, pagey)work.put_nowait(real_url)url_2 http://www.boohee.com/food/view_menu?page{page}
for x in range(1,4):real_url url_2.format(pagex)work.put_nowait(real_url)def crawler():headers {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36}while not work.empty():url work.get_nowait()res requests.get(url, headersheaders)bs_res bs4.BeautifulSoup(res.text, html.parser)foods bs_res.find_all(li, class_item clearfix)for food in foods:food_name food.find_all(a)[1][title]food_url http://www.boohee.com food.find_all(a)[1][href]food_calorie food.find(p).textwriter.writerow([food_name, food_calorie, food_url])#借助writerow()函数把提取到的数据食物名称、食物热量、食物详情链接写入csv文件。print(food_name)csv_file open(boohee.csv, w, newline)
#调用open()函数打开csv文件传入参数文件名“boohee.csv”、写入模式“w”、newline。
writer csv.writer(csv_file)
# 用csv.writer()函数创建一个writer对象。
writer.writerow([食物, 热量, 链接])
#借助writerow()函数往csv文件里写入文字食物、热量、链接tasks_list []
for x in range(5):task gevent.spawn(crawler)tasks_list.append(task)
gevent.joinall(tasks_list)呼~这一关的项目终于圆满完成
不知道你在做这次项目时的感受是怎样的会不会因为看不懂一行代码而苦恼许久但在代码运行通过时又欣喜雀跃
我到现在都深深地记得在我最开始接触编程写出人生中第一个程序的那种感受——妙不可言又一直萦绕心头的开心。
毫不夸张地说当我敲下那个程序最后的一行代码点击运行看到终端跑出我想要的数据时我激动地差点跳了起来。
我始终觉得是在那一刻编程用它的魅力改变了我让我有机会成为今天被你看见的我。
如果有机会的话我也很想听你和我分享你每一次做项目的感受不吐不快的话可以放在评论区
我们下一关见~
