用代理IP突破设置了反爬虫的网站,我们不用担心IP再被封掉。ET代理今天为大家分享一个实质操作,用python爬取猫眼电影。
基本使用步骤:
1、设置代理地址
2、创建ProxyHandler
3、创建Opener
4、安装Opener
以下是部分关键代码:
# 使用代理服务器访问猫眼
# https://maoyan.com/
from urllib import request,error
''''''
if __name__ == '__main__':
url = https://baidu.com/
# 1.设置代理地址
proxy = {'http': '218.60.8.83:3129'}
# 2.创建ProxyHandler
proxy_handler = request.ProxyHandler(proxy)
# 3.创建Opener
opener = request.build_opener(proxy_handler)
# 4.安装Opener
request.install_opener(opener)
# 下面再进行访问url就会使用代理服务器
try:
rsp = request.urlopen(url)
html = rsp.read().decode()
print(html)
except error.HTTPError as e:
print(e)
except Exception as e:
print(e)
以上我们的设置以及准备工作就已经全部完成了,接下来只需要让爬虫开展它的任务即可。
16
2019-07
13
2019-09
14
2019-08
22
2017-12
24
2019-09
14
2019-10