网站title修改,门户网站等保二级建设方案,网易免费企业邮箱登录入口,营销模式都有哪些学习路线#xff1a;爬虫基础知识-requests模块-数据提取-selenium-反爬与反反爬-MongoDB数据库-scrapy-appium。
对应视频链接(百度网盘)#xff1a;正在整理中
爬虫基础知识#xff1a;
1.爬虫的概念
总结#xff1a;模拟浏览器#xff0c;发送请求#xff0c;获取…学习路线爬虫基础知识-requests模块-数据提取-selenium-反爬与反反爬-MongoDB数据库-scrapy-appium。
对应视频链接(百度网盘)正在整理中
爬虫基础知识
1.爬虫的概念
总结模拟浏览器发送请求获取响应。 2.爬虫的作用 数据采集 软件测试 抢票 网站上的投票 网络安全 3.爬虫的分类 数量 是否获取数据 url与数据的关系 4.爬虫的流程 url 发请求获取响应 解析 5.http复习 http以及https的概念和区别 HTTPSH比HTTP更安全但是性能更低 6.常见的请求头与响应头 请求头 host 域名 Connection 长连接 Upgrade-Insecure-Requests 升级为HTTPS请求 ***User-Agent 用户代理提供系统信息和浏览器信息 ***Referer 页面跳转处防盗链(图片/视频) ***Cookie 状态保持 响应头 Set-Cookie 7.状态码 所有的状态码都不可信一切以是否从抓包得到的响应中获取到数据为准 network中抓包得到的源码才是判断依据elements中的源码是渲染之后的源码
8.浏览器请求的过程 发送所有请求进行渲染 爬虫 只发送指定请求不会渲染 骨骼文件html静态文件 肌肉文件js/ajax请求 皮肤css/font/图片
源代码 控制台 所有源代码 响应 Network点刷新可以看到响应
