沈阳公司网站设计制作,php 建设网站制作,延安软件开发公司,各国足球世界排名一、网络爬虫 网络爬虫又被称为网络蜘蛛#xff0c;我们可以把互联网想象成一个蜘蛛网#xff0c;每一个网站都是一个节点#xff0c;我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子#xff0c;你在百度和谷歌中输入‘Python#xff0c;会有大量和…一、网络爬虫 网络爬虫又被称为网络蜘蛛我们可以把互联网想象成一个蜘蛛网每一个网站都是一个节点我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子你在百度和谷歌中输入‘Python会有大量和Python相关的网页被检索出来百度和谷歌是如何从海量的网页中检索出你想要的资源他们靠的就是派出大量蜘蛛去网页上爬取检索关键字建立索引数据库经过复杂的排序算法结果按照搜索关键字相关度的高低展现给你。 千里之行始于足下我们从最基础的开始学习如何写一个网络爬虫实现语言使用Python。 二、Python如何访问互联网 想要写网络爬虫第一步是访问互联网Python如何访问互联网呢 在Python中我们使用urllib包访问互联网。在Python3中对这个模块做了比较大的调整以前有urllib和urllib2,在3中对这两个模块做了统一合并称为urllib包。包下面包含了四个模块urllib.requesturllib.errorurllib.parseurllib.robotparser目前主要使用的是urllib.request。 我们首先举一个最简单的例子如何获取获取网页的源码
import urllib.request
response urllib.request.urlopen(https://docs.python.org/3/)
html response.read()
print(html.decode(utf-8))
三、Python网络简单使用
首先我们用两个小demo练一下手一个是使用python代码下载一张图片到本地另一个是调用有道翻译写一个翻译小软件。
3.1根据图片链接下载图片代码如下
import urllib.requestresponse urllib.request.urlopen(http://www.3lian.com/e/ViewImg/index.html?urlhttp://img16.3lian.com/gif2016/w1/3/d/61.jpg)
image response.read()with open(123.jpg,wb) as f:f.write(image)
其中response是一个对象 输入response.geturl() -http://www.3lian.com/e/ViewImg/index.html?urlhttp://img16.3lian.com/gif2016/w1/3/d/61.jpg 输入response.info() -http.client.HTTPMessage object at 0x10591c0b8 输入print(response.info()) -Content-Type: text/html Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT Accept-Ranges: bytes ETag: 0f4b59230a4c41:0 Server: Microsoft-IIS/8.0 Date: Sun, 14 Aug 2016 07:16:01 GMT Connection: close Content-Length: 2827 输入response.getcode() -200 3.1使用有道词典实现翻译功能 我们想实现翻译功能我们需要拿到请求链接。首先我们需要进入有道首页点击翻译在翻译界面输入要翻译的内容点击翻译按钮就会向服务器发起一个请求我们需要做的就是拿到请求地址和请求参数。 我在此使用谷歌浏览器实现拿到请求地址和请求参数。首先点击右键点击检查不同浏览器点击的选项可能不同同一浏览器的不同版本也可能不同进入图一所示从中我们可以拿到请求请求地址和请求参数在Header中的Form Data中我们可以拿到请求参数。 代码段如下
import urllib.request
import urllib.parseurl http://fanyi.youdao.com/translate?smartresultdictsmartresultrulesmartresultugcsessionFromdict2.index
data {}
data[type] AUTO
data[i] i love you
data[doctype] json
data[xmlVersion] 1.8
data[keyfrom] fanyi.web
data[ue] UTF-8
data[action] FY_BY_CLICKBUTTON
data[typoResult] true
data urllib.parse.urlencode(data).encode(utf-8)
response urllib.request.urlopen(url,data)
html response.read().decode(utf-8)
print(html)
上述代码执行如下 {type:EN2ZH_CN,errorCode:0,elapsedTime:0,translateResult:[[{src:i love you,tgt:我爱你}]],smartResult:{type:1,entries:[,我爱你。]}} 对于上述结果我们可以看到是一个json串我们可以对此解析一下并且对代码进行完善一下
import urllib.request
import urllib.parse
import jsonurl http://fanyi.youdao.com/translate?smartresultdictsmartresultrulesmartresultugcsessionFromdict2.index
data {}
data[type] AUTO
data[i] i love you
data[doctype] json
data[xmlVersion] 1.8
data[keyfrom] fanyi.web
data[ue] UTF-8
data[action] FY_BY_CLICKBUTTON
data[typoResult] true
data urllib.parse.urlencode(data).encode(utf-8)
response urllib.request.urlopen(url,data)
html response.read().decode(utf-8)
target json.loads(html)
print(target[translateResult][0][0][tgt])
四、规避风险
服务器检测出请求不是来自浏览器可能会屏蔽掉请求服务器判断的依据是使用‘User-Agent,我们可以修改改字段的值来隐藏自己。代码如下
import urllib.request
import urllib.parse
import jsonurl http://fanyi.youdao.com/translate?smartresultdictsmartresultrulesmartresultugcsessionFromdict2.index
data {}
data[type] AUTO
data[i] i love you
data[doctype] json
data[xmlVersion] 1.8
data[keyfrom] fanyi.web
data[ue] UTF-8
data[action] FY_BY_CLICKBUTTON
data[typoResult] true
data urllib.parse.urlencode(data).encode(utf-8)
req urllib.request.Request(url, data)
req.add_header(User-Agent,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36)
response urllib.request.urlopen(url, data)
html response.read().decode(utf-8)
target json.loads(html)
print(target[translateResult][0][0][tgt])
上述做法虽然可以隐藏自己但是还有很大问题例如一个网络爬虫下载图片软件在短时间内大量下载图片服务器可以可以根据IP访问次数判断是否是正常访问。所有上述做法还有很大的问题。我们可以通过两种做法解决办法一是使用延迟例如5秒内访问一次。另一种办法是使用代理。
延迟访问休眠5秒缺点是访问效率低下
import urllib.request
import urllib.parse
import json
import timewhile True:content input(please input content(input q exit program):)if content q:break;url http://fanyi.youdao.com/translate?smartresultdictsmartresultrulesmartresultugcsessionFromdict2.indexdata {}data[type] AUTOdata[i] contentdata[doctype] jsondata[xmlVersion] 1.8data[keyfrom] fanyi.webdata[ue] UTF-8data[action] FY_BY_CLICKBUTTONdata[typoResult] truedata urllib.parse.urlencode(data).encode(utf-8)req urllib.request.Request(url, data)req.add_header(User-Agent,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36)response urllib.request.urlopen(url, data)html response.read().decode(utf-8)target json.loads(html)print(target[translateResult][0][0][tgt])time.sleep(5) 代理访问让代理访问资源然后讲访问到的资源返回。服务器看到的是代理的IP地址不是自己地址服务器就没有办法对你做限制。
步骤
1参数是一个字典类型 : 代理IP端口号 //类型是http,https等
proxy_support urllib.request.ProxyHandler({})
2定制、创建一个opener
opener urllib.request.build_opener(proxy_support)
3安装opener(永久安装一劳永逸)
urllib.request.install_opener(opener)
3调用opener调用的时候使用
opener.open(url)
五、批量下载网络图片
图片下载来源为**网
图片下载的关键是找到图片的规律如找到当前页每一页的图片链接然后使用循环下载图片。下面是程序代码待优化,正则表达式匹配IP代理
import urllib.request
import osdef url_open(url):req urllib.request.Request(url)req.add_header(User-Agent,Mozilla/5.0)response urllib.request.urlopen(req)html response.read()return htmldef get_page(url):html url_open(url).decode(utf-8)a html.find(current-comment-page) 23b html.find(],a)return html[a:b]def find_image(url):html url_open(url).decode(utf-8)image_addrs []a html.find(img src)while a ! -1:b html.find(.jpg,a,a 150)if b ! -1:image_addrs.append(html[a9:b4])else:b a 9a html.find(img src,b)for each in image_addrs:print(each)return image_addrsdef save_image(folder,image_addrs):for each in image_addrs:filename each.split(/)[-1]with open(filename,wb) as f:img url_open(each)f.write(img)def download_girls(folder girlimage,pages 20):os.mkdir(folder)os.chdir(folder)url http://****.net/ooxx/page_num int(get_page(url))for i in range(pages):page_num - ipage_url url page- str(page_num) #commentsimage_addrs find_image(page_url)save_image(folder,image_addrs)if __name__ __main__:download_girls()
代码运行效果如下
