当前位置: 技术问答>linux和unix
debian下访问个别网站,速度极不稳定
来源: 互联网 发布时间:2016-03-14
本文导语: 最近要在debian下用python写个脚本来抓取某些网页,本来很简单的一个东西,结果却出现了问题.抓取其他大部分页面都是正常的,可是在个别网站却会出现速度极不稳定的情况,有时一下就可以打开,有时就可能超时.而...
最近要在debian下用python写个脚本来抓取某些网页,本来很简单的一个东西,结果却出现了问题.抓取其他大部分页面都是正常的,可是在个别网站却会出现速度极不稳定的情况,有时一下就可以打开,有时就可能超时.而代码换到另一台机器就一切正常了.而且在这台机器上ping要抓取的网站服务器也是一切正常的. 检查DNS也是一切正常的. 要访问的网站在其他机器上浏览是绝对正常的.
开始是以为python的urllib模块有问题,就试着用socket连接,发现速度是卡在 sock.connect( ("60.12.*.*" , 80) )这个地方
后来又试着用c socket写了一个连接 , 结果还是不行.
对linux不熟,期望高手能够帮忙指点一下
PS:debian是处于局域网内, 同一个局域网的其他服务器测试都是正常的.
开始是以为python的urllib模块有问题,就试着用socket连接,发现速度是卡在 sock.connect( ("60.12.*.*" , 80) )这个地方
后来又试着用c socket写了一个连接 , 结果还是不行.
对linux不熟,期望高手能够帮忙指点一下
PS:debian是处于局域网内, 同一个局域网的其他服务器测试都是正常的.
|
我认为和你的debian没有关系。是否你的网络和对方网站的网络都处于稳定状态啊,你的网络状态可以确定,但是对方的你就没办法了吧,还有些网站对某个ip的频繁大数据量访问是有控制的,帮你顶一下。
|
如果是偶尔的就跳过 过1分钟在抓取呀
|
|
这个简单啊,网上搜一下就得到答案了.
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。