博主在本地写好的淘宝司拍代码,在本机可以正常运行
但是将代码部署到阿里云服务器后一直报错
页面刚获取相应页面就挂掉了,找了各种原因,刚开始以为是服务的环境配置问题,然后建了新的虚拟环境,然并卵,还是无法运行,后来我用shell脚本调试,看看是否能获取响应页面的内容,结果令人大跌眼镜:
这到底是什么鬼????
我以为是我使用的阿里云使用了代理,那到底是这台服务器本身的问题,还是所有阿里云服务器都无法访问【或者可以说已经将这个网页加入了黑名单呢】,我请求群里的几个朋友都试着访问这个网页,得到的结果居然惊人的一致,无法访问
这就证实了我之前的猜测,阿里云全面禁止访问此页面【自家服务器直接封禁访问自家信息,真绝啊】
于是只好转战战场,朋友说可以尝试访问这个网页的app版本,但是我的页面项目已经写好了,不想在去抓包,大费周章地重新抓取一遍,看来只能在本地的物理服务器上面运行,一朋友说还有其他网站比如今日头条等网页版也是无法抓取。难道是云上的爬虫太多,直接把公网ip禁掉了么?好吧,爬虫凶猛啊,据说现在有的app 软件可以根据客户端是否安装了代理ip 来判断是否为爬虫,这太绝了,以后代理ip也不能用了。生艰难啊,继续搬砖。。。。。
转载自原文链接, 如需删除请联系管理员。
原文链接:找出阿里云服务器无法访问淘宝司拍页面原因,转载请注明来源!