您的位置:首页 >新闻资讯 > 正文

代理IP池的3种抓取来源

来源:互联网 作者:admin 时间:2019-10-09 15:41:12

  代理IP池的IP有哪些来源?我们能够通过什么方法来获取足够多的代理IP来形成自己的IP池使用呢?ET代理为大家搜集了三种方式,大家可以根据实际情况去进行选择。


  免费的方法


  这些卖代理的网站往往都提供了一些免费代理在首页来吸引流量,少则几十,多则几百,初步测试了几个还算能用. 既然直接买来代理也还需要验证,那还不如直接抓取他们网站上提供的免费代理了。验证后入库, 用的时候直接选取一个用就好了。如果代理库里有1000个左右的可用IP,那还是能解决不少问题的。


  需要付费的方法


  自己买IP地址,自己做代理池. 可以利用各种云可以换IP的api(弹性IP),采用几台实例做出口,如果被封了就换IP, 大概看一下IP的价格的话, 就知道这个实在不太现实, 太贵了理论上这个比上一个便宜, 但是还是很贵。


  阿里云上最便宜的主机(内网主机, 没有公网IP)大概价格在60元左右, 如果自己做代理池的话, 想要多少并发出口就需要多少台主机. 假如我们需要同时有10个IP出口是可用的, 那么主机的费用就是 600元. 另外一个1Mbps的IP的价格大概是30元左右, IP的价格是300元. 每个月搭建一个代理池就要花费近1000元, 实在是用不起。


  而且云主机厂商的IP地址往往是连续的, 很可能换来换去都在一个C段, 这时候对于直接封禁IP段的网站就无解了。


  直接购买代理,这些代理往往是通过一些接近黑产的方式扫描端口得来的,需要验证才能使用。


  购买的代理的价格大概是每天几块到几十块不等, 不同厂商之家大同小异, 一个月最少也都需要几百元左右. 不过之前听同事说这些代理的可用性一般, 拿到的代理还需要自己验证是否可用, 也就是花了钱还不能爽, 自然没有了买的欲望。


  我们来看下某网站的代理列表:

  

代理IP池的3种抓取来源


  一般来说, http/https代理用的比较多, socks代理似乎很少使用. 其中好多代理服务器只支持http代理. 比如 百度就只能使用https代理访问, 而不能使用http代理. 上图中给出了这些代理的类型, 然而实际测试发现, 这些类型好多都是不准的. 还有响应时间等数据也和服务器有关, 并不能直接使用上面的数据. 所以我们的思路是只要地址和端口, 其他的数据都自己验证。


  无论是选择付费的形式,还是免费的渠道,都要验证代理IP的可用性,如果是无效的,那么放进IP池也没有用处,只是白费了力气。


相关文章内容简介