当前位置:  互联网>综合
本页文章导读:
    ▪WIZnet无线解决方案 之 太阳能逆变器        应用名称:太阳能逆变器关联产品:Wizfi630结构图: 应用介绍 客户:某韩国公司(最终客户:澳大利亚) 太阳能逆变器把更新的数据经过UART到WizFi630.WizFi630会将串口数据转换到TCP/IP协.........
    ▪[Python]网络爬虫(五):urllib2的使用细节与抓站技巧      前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。 如果想在程序中明确控制 Proxy 而不受环境变量的影响.........
    ▪myeclipse 启动服务时 提示“Address already in use:JVM_Bind:8080”       肯定端口占用了,推荐一个端口检测工具【APortsaports】,可以清晰看到那个程序占用端口。 下载地址: http://download.csdn.net/detail/tianwuya217/5377733 解决问题办法: 1.打开 APortsaports  .........

[1]WIZnet无线解决方案 之 太阳能逆变器
    来源: 互联网  发布时间: 2013-10-21

 

  • 应用名称:太阳能逆变器
  • 关联产品:Wizfi630
  • 结构图:

    • 应用介绍

    客户:某韩国公司(最终客户:澳大利亚)

    太阳能逆变器把更新的数据经过UART到WizFi630.WizFi630会将串口数据转换到TCP/IP协议并用网页展示出来。WizFi630内置网页服务器,如有需要客户可以另行定制网页以用于自身设备健监控。

    WizFi630操作模式:串行到Wi-Fi客户端模式

     

    更多了解WizFi630规格:

    http://www.iwiznet.cn/sub_modules/product/Product_Detail.asp?cate1=5&cate2=43&cate3=0&pid=1168

     

    感谢您的关注!

     

  • 作者:WIZnet2012 发表于2013-5-14 10:18:42 原文链接
    阅读:44 评论:0 查看评论

        
    [2][Python]网络爬虫(五):urllib2的使用细节与抓站技巧
        来源: 互联网  发布时间: 2013-10-21

    前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。


    1.Proxy 的设置

    urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。

    如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理。

    新建test14来实现一个简单的代理Demo:

    import urllib2
    enable_proxy = True
    proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
    null_proxy_handler = urllib2.ProxyHandler({})
    if enable_proxy:
        opener = urllib2.build_opener(proxy_handler)
    else:
        opener = urllib2.build_opener(null_proxy_handler)
    urllib2.install_opener(opener)
    

    这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。

    这样后面的使用会很方便,但不能做更细致的控制,比如想在程序中使用两个不同的 Proxy 设置等。

    比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。


    2.Timeout 设置
    在老版 Python 中(Python2.6前),urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。
    import urllib2
    import socket
    socket.setdefaulttimeout(10) # 10 秒钟后超时
    urllib2.socket.setdefaulttimeout(10) # 另一种方式

    在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
    import urllib2
    response = urllib2.urlopen('http://www.google.com', timeout=10)


    3.在 HTTP Request 中加入特定的 Header

    要加入 header,需要使用 Request 对象:
    import urllib2
    request = urllib2.Request('http://www.baidu.com/')
    request.add_header('User-Agent', 'fake-client')
    response = urllib2.urlopen(request)
    print response.read()

    对有些 header 要特别留意,服务器会针对这些 header 做检查
    User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
    Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:
    application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
    application/json : 在 JSON RPC 调用时使用
    application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
    在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务



    4.Redirect
    urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。
    import urllib2
    my_url = 'http://www.google.cn'
    response = urllib2.urlopen(my_url)
    redirected = response.geturl() == my_url
    print redirected
    
    my_url = 'http://rrurl.cn/b1UZuP'
    response = urllib2.urlopen(my_url)
    redirected = response.geturl() == my_url
    print redirected
    
    

    如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义HTTPRedirectHandler 类。
    import urllib2
    class RedirectHandler(urllib2.HTTPRedirectHandler):
        def http_error_301(self, req, fp, code, msg, headers):
            print "301"
            pass
        def http_error_302(self, req, fp, code, msg, headers):
            print "303"
            pass
    
    opener = urllib2.build_opener(RedirectHandler)
    opener.open('http://rrurl.cn/b1UZuP')
    


    5.Cookie

    urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:
    import urllib2
    import cookielib
    cookie = cookielib.CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
    response = opener.open('http://www.baidu.com')
    for item in cookie:
        print 'Name = '+item.name
        print 'Value = '+item.value
    

    运行之后就会输出访问百度的Cookie值:



    6.使用 HTTP 的 PUT 和 DELETE 方法

    urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或DELETE 的请求:
    import urllib2
    request = urllib2.Request(uri, data=data)
    request.get_method = lambda: 'PUT' # or 'DELETE'
    response = urllib2.urlopen(request)
    


    7.得到 HTTP 的返回码

    对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:
    import urllib2
    try:
        response = urllib2.urlopen('http://bbs.csdn.net/why')
    except urllib2.HTTPError, e:
        print e.code
    


    8.Debug Log

    使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作
    import urllib2
    httpHandler = urllib2.HTTPHandler(debuglevel=1)
    httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
    opener = urllib2.build_opener(httpHandler, httpsHandler)
    urllib2.install_opener(opener)
    response = urllib2.urlopen('http://www.google.com')
    

    这样就可以看到传输的数据包内容了:




    9.表单的处理

    登录必要填表,表单怎么填?


        
    [3]myeclipse 启动服务时 提示“Address already in use:JVM_Bind:8080”
        来源: 互联网  发布时间: 2013-10-21


    肯定端口占用了,推荐一个端口检测工具【APortsaports】,可以清晰看到那个程序占用端口。

    下载地址:


    http://download.csdn.net/detail/tianwuya217/5377733


    解决问题办法:

    1.打开 APortsaports 



    2.找到程序后,开始——运行输入services.msc,找到相关服务,停止即可。





    作者:tianwuya217 发表于2013-5-14 22:07:53 原文链接
    阅读:53 评论:0 查看评论

        
    最新技术文章:
    ▪用户及权限基础 2---- Linux权限    ▪用户及权限基础 3---- Linux扩展权限    ▪git 简明教程(1) --创建及提交
    ▪背包 代码    ▪json对象的封装与解析    ▪01背包,完全背包,多重背包 ,模板代码
    ▪apache安装详解    ▪HDU 4668 Finding string (解析字符串 + KMP)    ▪《TCP-IP详解 卷1:协议》学习笔记(二)
    ▪《TCP-IP详解 卷1:协议》学习笔记(持续更新...    ▪windows下使用swig    ▪gensim试用
    ▪Linux Shell脚本编程--nc命令使用详解    ▪solr对跨服务器表联合查询的配置    ▪递归和非递归实现链表反转
    ▪Linux磁盘及文件系统管理 1---- 磁盘基本概念    ▪Cholesky Decomposition    ▪HTTP协议学习
    ▪用C语言写CGI入门教程    ▪用hdfs存储海量的视频数据的设计思路    ▪java多线程下载的实现示例
    ▪【原创】eAccelerator 一个锁bug问题跟踪    ▪hadoop学习之ZooKeeper    ▪使用cuzysdk web API 实现购物导航类网站
    ▪二维数组中的最长递减子序列    ▪内嵌W5100的网络模块WIZ812MJ--数据手册    ▪xss 跨站脚本攻击
    ▪RobotFramework+Selenium2环境搭建与入门实例    ▪什么是API    ▪用PersonalRank实现基于图的推荐算法
    ▪Logtype    ▪关于端口号你知道多少!    ▪Linux基本操作 1-----命令行BASH的基本操作
    ▪CI8.7--硬币组合问题    ▪Ruby on Rails 学习(五)    ▪如何使用W5300实现ADSL连接(二)
    ▪不允许启动新事务,因为有其他线程正在该会...    ▪getting start with storm 翻译 第六章 part-3    ▪递归求排列和组合(无重复和有重复)
    ▪工具类之二:RegexpUtils    ▪Coding Interview 8.2    ▪Coding Interview 8.5
    ▪素因子分解 Prime factorization    ▪C# DllImport的用法    ▪图的相关算法
    ▪Softmax算法:逻辑回归的扩展    ▪最小生成树---Kruskal算法---挑战程序设计竞赛...    ▪J2EE struts2 登录验证
    ▪任意两点间的最短路径---floyd_warshall算法    ▪Sqoop实现关系型数据库到hive的数据传输    ▪FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream...
    ▪Ubuntu 13.04 – Install Jetty 9    ▪TCP/IP笔记之多播与广播    ▪keytool+tomcat配置HTTPS双向证书认证
    ▪安装phantomjs    ▪Page Redirect Speed Test    ▪windows media player 中播放pls的方法
    ▪sre_constants.error: unbalanced parenthesis    ▪http headers    ▪Google MapReduce中文版
    ▪The TCP three-way handshake (connect)/four wave (closed)    ▪网站反爬虫    ▪Log4j实现对Java日志的配置全攻略
    ▪Bit Map解析    ▪Notepad 快捷键 大全    ▪Eclipse 快捷键技巧 + 重构
    ▪win7 打开防火墙端口    ▪Linux Shell脚本入门--awk命令详解    ▪Linux Shell脚本入门--Uniq命令
    ▪Linux(Android NDK)如何避免僵死进程    ▪http Content-Type一览表    ▪Redis实战之征服 Redis + Jedis + Spring (二)
    ▪Tomcat7.0.40 基于DataSourceRealm的和JDBCRealm的资源...    ▪利用SQOOP将ORACLE到HDFS    ▪django输出 hello world
    ▪python re    ▪unity3D与网页的交互    ▪内存共享基本演示
    ▪python join    ▪不再为无限级树结构烦恼,且看此篇    ▪python实现变参
    ▪打开文件数限制功能不断地制造问题    ▪Arduino Due, Maple and Teensy3.0 的 W5200性能测试    ▪Selenium实例----12306网站测试
    ▪基于协同过滤的推荐引擎    ▪C4.5决策树    ▪C#HTTP代理的实现之注册表实现
    ▪nosql和关系型数据库比较?    ▪如何快速比较这两个字符串是否相等?    ▪hdoj 1863 畅通工程 最小生成树---prime算法
     


    站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3