博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫代理IP被封的六大原因
阅读量:4214 次
发布时间:2019-05-26

本文共 542 字,大约阅读时间需要 1 分钟。

很多人不太了解代理ip,以为用了代理IP,爬虫就不会被限制,就可以一直稳定持续工作。然而,现实却是爬虫代理IP经常被封,爬虫工作也被迫中断。那么,爬虫代理IP被封有哪些原因呢,和天启IP一起来看看把。

在这里插入图片描述

一、非高匿代理IP

非高匿代理IP是指透明代理IP和普匿代理IP,透明代理IP会暴露本机真实IP,普匿代理IP会暴露正在使用代理IP,这两者都会暴露,很容易被限制,只有高匿代理IP才是爬虫代理IP的最佳选择。

二、代理IP一手率较低

代理IP池用的人越多,一手率就越低,就可能会存在这样的情况:同一个代理IP,有很多人用来访问同一个网站,这样就很容易被限制。

三、请求频率过高

爬虫任务一般比较大,为了按时完成任务,单位时间内的请求频率过高,会给目标网站服务器造成巨大的压力,很容易被限制。

四、有规律地请求

有些爬虫程序没有考虑到这一点,每个请求花费的时间都一样,非常有规律,这样也很容易被限制。

五、单IP请求次数过多

单个代理IP请求次数过多也很容易被限制,一般网站都会限制单个IP在24小时内或者更短时间内被允许访问多少次,超过了次数就会被限制。

六、其他原因

每个网站的反爬策略都不一样,有的网站很严格,有的网站很宽松,这个需要爬虫工程师进行研究分析,制定相应的爬虫策略。

转载地址:http://tndmi.baihongyu.com/

你可能感兴趣的文章
【一天一道LeetCode】#115. Distinct Subsequences
查看>>
【一天一道LeetCode】#116. Populating Next Right Pointers in Each Node
查看>>
【一天一道LeetCode】#118. Pascal's Triangle
查看>>
JNI简介及实例
查看>>
JAVA实现文件树
查看>>
ebay api - GetUserDisputes 函数
查看>>
ebay api GetMyMessages 函数
查看>>
手动12 - 安装php加速器 Zend OPcache
查看>>
set theme -yii2
查看>>
yii2 - 模块(modules)的view 映射到theme里面
查看>>
yii2 - controller
查看>>
yii2 - 增加actions
查看>>
php图像处理函数大全(缩放、剪裁、缩放、翻转、旋转、透明、锐化的实例总结)
查看>>
magento url中 uenc 一坨编码 base64
查看>>
强大的jQuery焦点图无缝滚动走马灯特效插件cxScroll
查看>>
Yii2.0 数据库查询
查看>>
yii2 db 操作
查看>>
mongodb group 有条件的过滤组合个数。
查看>>
关于mongodb的 数组分组 array group
查看>>
MongoDB新的数据统计框架介绍
查看>>