最近碰到个问题,需要telnet登录上千台机器去取主机名;其中有用户名密码交互部分,有需要延迟的部分,大概一次登录一次到处理完要10s,1000台机器串行处理就需要1000×10s,差不多三个小时,这是很难受的事情;
之前用thread的start_new_thread方法也可以实现,但是线程数量不好控制,没找到相关的控制线程数量的锁;
找了下关于python的线程池,找到threadpool这么一个模块,可以满足我的需求,见:
http://chrisarndt.de/projects/threadpool/
我下的是版本1.2.2:
http://chrisarndt.de/projects/threadpool/download/threadpool-1.2.2.tar.bz2
放到当前目录或者python模块库都行,用法很简单,见:
Basic usage:: >>> pool = ThreadPool(poolsize) >>> requests = makeRequests(some_callable, list_of_args, callback) >>> [pool.putRequest(req) for req in requests] >>> pool.wait()
第一行定义了一个线程池,表示最多可以创建poolsize这么多线程;
第二行是调用makeRequests创建了要开启多线程的函数,以及函数相关参数和回调函数,其中回调函数可以不写,default是无,也就是说makeRequests只需要2个参数就可以运行;
第三行用法比较奇怪,是将所有要运行多线程的请求扔进线程池,[pool.putRequest(req) for req in requests]等同于:
for req in requests: pool.putRequest(req)
第四行是等待所有的线程完成工作后退出;
下面看下我的代码,使用线程池前后代码对比,不使用线程池:
import telnetlib import time #执行比较耗时的函数,需要开启多线程 def myTelnet(L): tn = telnetlib.Telnet(L[0]) time.sleep(2) ... idx = tn.expect(["Username:", "login:"], timeout=5) ... time.sleep(3) x = tn.read_very_eager() tn.close() ... return #模拟255个ip,需要逐个登录的函数 def myIpPool(ipPrefix): List=[] for i in range(1, 255): List.append("%s.%d" % (ipPrefix, i)) return List #串行运行telnet登录 L=myIpPool("200.200.200") for i in range(len(L)): myTelnet(L[i])
如果myTelnet每次执行要10s,那么255次myTelnet就需要2550s,大概是40分钟;
用多线程的情况:
import telnetlib import time import threadpool #执行比较耗时的函数,需要开启多线程 def myTelnet(L): tn = telnetlib.Telnet(L[0]) time.sleep(2) ... idx = tn.expect(["Username:", "login:"], timeout=5) ... time.sleep(3) x = tn.read_very_eager() tn.close() ... return #模拟255个ip,需要逐个登录的函数 def myIpPool(ipPrefix): List=[] for i in range(1, 255): List.append("%s.%d" % (ipPrefix, i)) return List #使用多线程执行telnet函数 pool = threadpool.ThreadPool(10) requests = threadpool.makeRequests(myTelnet, L) [pool.putRequest(req) for req in requests] pool.wait() output.close()
开始是个线程,理论上应该快10倍,实际可能没这么快,我将myTelnet函数改成只的sleep 10秒,什么也不干,测了下执行完需要260s,几乎是10倍的速度;改成如下:
pool = threadpool.ThreadPool(30)90s执行完毕,说明线程池还是很有用的东西。
服务器上加了一块新硬盘,在/dev/下只能看到一个sdb的设备。
于是要分区、创建文件系统、设置开机自动挂载,过程如下:
1、创建分区用parted命令分区:
# parted /dev/sdb (parted) mktable gpt (parted) mkpart data 1024KiB -1 (parted print)parted之后的参数是设备名。mkpart命令的三个参数分别是分区名(随便起),开始地址,结束地址-1表示至结尾,前面留出的空间可能是用于存放分区信息,不留的时候会有警告。print查看分区结果 2、格式化分区
创建分区之后,出现了/dev/sdb1分区。使用mkfs命令格式化分区:
# mkfs /dev/sdb1 ext4
3、设置开机挂载
修改/etc/fstab文件,在末尾加上一行:
/dev/sdb1 /data ext4 defaults 0 0
各字段分别是分区,挂载点,文件格式,挂载参数。后两个一般用0 0
重启,看看是否设置成功。
服务器上加了一块新硬盘,在/dev/下只能看到一个sdb的设备。
于是要分区、创建文件系统、设置开机自动挂载,过程如下:
【引用请注明出处http://blog.csdn.net/bhq2010/article/details/9238997】
1、创建分区用parted命令分区:
# parted /dev/sdb (parted) mktable gpt (parted) mkpart data 1024KiB -1 (parted print)parted之后的参数是设备名。mkpart命令的三个参数分别是分区名(随便起),开始地址,结束地址(-1表示块设备末尾),前面留出的空间可能是用于存放分区信息,不留的时候会有警告。print查看分区结果 2、格式化分区
创建分区之后,出现了/dev/sdb1分区。使用mkfs命令格式化分区:
# mkfs /dev/sdb1 ext4
3、设置开机挂载
修改/etc/fstab文件,在末尾加上一行:
/dev/sdb1 /data ext4 defaults 0 0
各字段分别是分区,挂载点,文件格式,挂载参数。后两个一般用0 0
【引用请注明出处http://blog.csdn.net/bhq2010/article/details/9238997】
重启,看看是否设置成功。