169it科技资讯
169it -->


当前位置:  操作系统/服务器>linux

Shell脚本实现批量下载网络图片代码分享

    来源: 互联网  发布时间:2014-10-17

最近为了做好一个天气预报的项目,需要从Yahoo下载一些天气图标,但是由于图标比较多,有80多张。图标是存储在Yahoo Image网站上的。

迅雷不支持https的下载,虽然可以在浏览器下载,但是在浏览器下载太慢,于是写了一个批量下载图片资源的Shell脚本,完美的解决了这个问题。

Yahoo天气图标的地址规则如下:https://s.yimg.com/zz/combo?a/i/us/nws/weather/gr/ + 图标名称

比如:

我使用了2种方法,解决了下载的难题,虽然好久没有写Shell脚本了,但是意识和底子还在,写即几十行代码还是比较轻松的。

方法1:

#!/bin/bash
# 
# Decription: 
#  A Shell script used to download the imges from Internet.
# Author:
#  Long Luo
# Date:
#  2014-09-11 00:16:59
#

BASE_URL="https://s.yimg.com/zz/combo?a/i/us/nws/weather/gr/"

# declare STIRNG variable
STRING="Beginning Image download..."

#print var on screen 
echo $STRING

sleep 1
echo "...."

BIG_PNG="ds.png"
PNG=".png"

echo "url="${BASE_URL}
echo "big png="${BIG_PNG}

for ((i=0; i<49;i++)); do
 echo IMG_URL=${BASE_URL}${i}${BIG_PNG}
 echo "final url="${IMG_URL}

 curl ${BASE_URL}${i}${BIG_PNG} -o small/${i}${PNG}
 sleep 1

done

方法2:

方法2将图片URL地址都写在一个数组里,然后从数组中读取,并重命名,相对来说,不如第一种方法简单:

# Method 2

URL_ARRAY=(
'https://s.yimg.com/zz/combo?a/i/us/nws/weather/gr/0d.png'
'https://s.yimg.com/zz/combo?a/i/us/nws/weather/gr/1d.png'
)

NAME_ARRAY=(
'file1.jpg'
'file2.jpg'
)

ELEMENTS=${#URL_ARRAY[@]}

for (( i=0;i<ELEMENTS;i++)); do
 echo ${URL_ARRAY[${i}]}
 echo "saved as ${NAME_ARRAY[${i}]}"
 curl ${URL_ARRAY[${i}]} -o images/${NAME_ARRAY[${i}]}
 sleep 1

done

以上,希望有需要的同学可以采用:-)


    
相关技术文章:
    ▪Shell脚本实现检测文件是否被修改过代码分享

     #!/bin/bash funmd5_1() { find /root/passwd -type f | xargs md5sum > /tmp/funmd5_1.log } funmd5_2() { find /root/passwd -type f | xargs md5sum > /tmp/funmd5_2.log } if [ ! -f /tmp/funmd5_1.log ];then funmd5_1 fi funmd5_2 diff /tmp/funmd5_1.log /tmp/funmd5_2.log > /tmp/diff.log Status=$? if [ $Status = 0 ];then exit else echo "文件修改过了!" fi ......


    ▪Shell脚本数组用法小结

     array作为一种数据结构,在一些高级语言中都是有直接提供和实现的,当然我shell中也是有的哈。 PS:写这篇文章的原因是B哥在群里发了一个截图: 我大B哥依然是全能型人才哈。。。废话少说,说下正题 1、怎么声明一个数组变量? 直接赋值: 代码如下: array[0]=”Zero” array[1]=”One” array[2]=”Two” declare声明: 代码如下:declare -a array 小括号空格法: 代码如下:......


    ▪Shell脚本批量重命名文件后缀的3种实现

     今天突然间想起昨天有个问题还没动手实践下,就是利用shell批量修改文件的后缀,现在动手实践一下。 需求:家目录下有一些sql文件,想批量重命名成txt的 1、find + xargs +sed 代码如下: find /root -name ‘*.sql' |xargs -i echo {}   {} |sed ‘s/sql/txt/2′  |xargs mv find /root/ -name ‘*.sql' |sed -e ‘s/\(.*\).sql$/mv & \1.txt/e'     //B哥提供 如果参考B哥的,还可以写一个awk版本的: 代码如下: find /root/ -name ‘*.sql'|awk  ‘{a=$......


 
最新技术文章:
    ▪linux系统中的列出敏感用户的脚本代码

     此处的敏感用户是指这个用户属于多个组,或者这个用户属于的组名跟这个用户名不一样 #! /bin/bash #list user who belong to more than one group #and list user who belong to the group which isn't the same as the username #w is whitelist,we will not think user in this whitelist is special or dangerous w=("root" "adm" "games" "operator" "halt" "shutdown" "sync" "daemon" "bin" "operator") function WhiteList() { for i in ${w[@]} do if [ "$i" == "$1" ];then return 1 fi done return 0 } IFS=" " for LINE in `cat /etc/passwd|awk -F: '{print $1}'` do WhiteList $LINE; #if $? equal 1,means i......


    ▪a10 config backup for aXAPI

     #!/bin/bash ################################################# # # script by Vincent yu # created at 20140306 # a10 config backup for aXAPI version: 2.1 # # ################################################# A10IP="1.1.1.1 1.1.1.2" USER=admin PASSWORD=a10 TODAY=`date "+%Y%m%d"` BACKUPDIR=/path/$TODAY TIMENOW=`date "+%Y%m%d%H%m"` LOG="/tmp/mail" MAILLIST="ng@ng.com.tw" for COUNT in $A10IP do METHOD1="method=authenticate&username=$USER&password=$PASSWORD" SESSION=`curl -k --data $METHOD1 https://$COUNT/services/rest/V2.1/ | sed -n -e 's/.*\(.*\)<\/session_id>.*/\1/p'` if [ ! -d $BACKUPDIR ];then mkdir -p $BACKUPDIR fi GETHOST_......


    ▪一键备份gitolite服务器的Shell脚本

     运行一次就能够把gitolite服务器上的仓库备份到本地. 第一次运行会创建远程仓库的本地镜像, 以后每次运行会把本地镜像更新. 本程序只支持 ssh方式 其他的git server貌似不会在 ssh git@xxx 的时候返回repo列表, 所以只能手动备份. #!/bin/sh server=serv_addr root_dir=`pwd` echo "whill back in dir: ${root_dir}" ssh "git@${server}" | awk '{print $1$2,$3}' | grep "^RW" | awk '{print $2}' | while read line do echo " " echo "-------------------------------------" if [ ! -d "${root_dir}/${line}.git" ]; then echo "repo not init on local, init it ..." mkdir -p "${root_dir}/${line}.git" ......


 


站内导航:


特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

©2012-2017,169IT.COM,E-mail:www_169it_com#163.com(请将#改为@)

浙ICP备11055608号