当前位置:  编程技术>python

用Python写的图片蜘蛛人代码

    来源: 互联网  发布时间:2014-09-04

    本文导语:  代码如下:#coding=utf-8 import os import sys import re import urllib URL_REG = re.compile(r'(http://[^///]+)', re.I) IMG_REG = re.compile(r']*?src=([/'"])([^/1]*?)/1', re.I) def download(dir, url): '''下载网页中的图片 @dir 保存到本地的路径 @url 网页url ''' global URL_REG, IMG...

代码如下:

#coding=utf-8

import os
import sys
import re
import urllib

URL_REG = re.compile(r'(http://[^///]+)', re.I)
IMG_REG = re.compile(r']*?src=([/'"])([^/1]*?)/1', re.I)

def download(dir, url):
'''下载网页中的图片

@dir 保存到本地的路径
@url 网页url
'''
global URL_REG, IMG_REG

m = URL_REG.match(url)
if not m:
print '[Error]Invalid URL: ', url
return
host = m.group(1)

if not os.path.isdir(dir):
os.mkdir(dir)

# 获取html,提取图片url
html = urllib.urlopen(url).read()
imgs = [item[1].lower() for item in IMG_REG.findall(html)]
f = lambda path: path if path.startswith('http://') else /
host + path if path.startswith('/') else url + '/' + path
imgs = list(set(map(f, imgs)))
print '[Info]Find %d images.' % len(imgs)

# 下载图片
for idx, img in enumerate(imgs):
name = img.split('/')[-1]
path = os.path.join(dir, name)
try:
print '[Info]Download(%d): %s'% (idx + 1, img)
urllib.urlretrieve(img, path)
except:
print "[Error]Cant't download(%d): %s" % (idx + 1, img)

def main():
if len(sys.argv) != 3:
print 'Invalid argument count.'
return
dir, url = sys.argv[1:]
download(dir, url)

if __name__ == '__main__':
# download('D://Imgs', 'http://www.163.com')
main()

    
 
 

您可能感兴趣的文章:

 
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • Python3通过request.urlopen实现Web网页图片下载
  • python实现图片批量剪切示例
  • python获得图片base64编码示例
  • python抓取网页中的图片示例
  • python3图片转换二进制存入mysql
  • 使用Python下载Bing图片(代码)
  • python获取糗百图片代码实例
  • python获取beautifulphoto随机某图片代码实例
  • 从零学python系列之教你如何根据图片生成字符画
  • python抓取网页图片示例(python爬虫)
  • python抓取豆瓣图片并自动保存示例学习
  • python小技巧之批量抓取美女图片
  • python处理圆角图片、圆形图片的例子
  • python在多玩图片上下载妹子图的实现代码
  • python获取beautifulphoto随机某图片代码实例 iis7站长之家
  • python使用新浪微博api上传图片到微博示例
  • python判断、获取一张图片主色调的2个实例
  • Python读取图片EXIF信息类库介绍和使用实例
  • python 图片验证码代码
  • python 图片验证码代码分享
  • python发送邮件的实例代码(支持html、图片、附件)
  • Python GUI编程:tkinter实现一个窗口并居中代码
  • 让python同时兼容python2和python3的8个技巧分享
  • Python不使用print而直接输出二进制字符串
  • 使用setup.py安装python包和卸载python包的方法
  • Python中实现json字符串和dict类型的互转
  • 不小心把linux自带的python卸载了,导致安装一个依赖原python的软件不能安装,请问该怎么办?
  • python异常信息堆栈输出到日志文件
  • python读取csv文件示例(python操作csv)
  • python下用os.execl执行centos下的系统时间同步命令ntpdate
  • python基础教程之python消息摘要算法使用示例


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3