当前位置:  编程技术>python

2款Python内存检测工具介绍和使用方法

    来源: 互联网  发布时间:2014-10-04

    本文导语:  去年自己写过一个程序时,不太确定自己的内存使用量,就想找写工具来打印程序或函数的内存使用量。这里将上次找到的2个内存检测工具的基本用法记录一下,今后分析Python程序内存使用量时也是需要的。 memory_profiler模块...

去年自己写过一个程序时,不太确定自己的内存使用量,就想找写工具来打印程序或函数的内存使用量。
这里将上次找到的2个内存检测工具的基本用法记录一下,今后分析Python程序内存使用量时也是需要的。

memory_profiler模块(与psutil一起使用)
注:psutil这模块,我太喜欢了,它实现了很多Linux命令的主要功能,如:ps, top, lsof, netstat, ifconfig, who, df, kill, free 等等。
示例代码(https://github.com/smilejay/python/blob/master/py2014/mem_profile.py):

代码如下:

#!/usr/bin/env python

'''
Created on May 31, 2014

@author: Jay
@description: use memory_profiler module for profiling programs/functions.
'''

from memory_profiler import profile
from memory_profiler import memory_usage
import time

 
@profile
def my_func():
    a = [1] * (10 ** 6)
    b = [2] * (2 * 10 ** 7)
    del b
    return a

 
def cur_python_mem():
    mem_usage = memory_usage(-1, interval=0.2, timeout=1)
    return mem_usage

 
def f(a, n=100):
    time.sleep(1)
    b = [a] * n
    time.sleep(1)
    return b

if __name__ == '__main__':
    a = my_func()
    print cur_python_mem()
    print ""
    print memory_usage((f, (1,), {'n': int(1e6)}), interval=0.5)

运行上面的代码,输出结果为:

代码如下:

jay@Jay-Air:~/workspace/python.git/py2014 $python mem_profile.py
Filename: mem_profile.py

Line #    Mem usage    Increment   Line Contents
================================================
    15      8.0 MiB      0.0 MiB   @profile
    16                             def my_func():
    17     15.6 MiB      7.6 MiB       a = [1] * (10 ** 6)
    18    168.2 MiB    152.6 MiB       b = [2] * (2 * 10 ** 7)
    19     15.6 MiB   -152.6 MiB       del b
    20     15.6 MiB      0.0 MiB       return a

 
[15.61328125, 15.6171875, 15.6171875, 15.6171875, 15.6171875]

[15.97265625, 16.00390625, 16.00390625, 17.0546875, 23.63671875, 23.63671875, 23.640625]

Guppy (使用了Heapy)
Guppy is an umbrella package combining Heapy and GSL with support utilities such as the Glue module that keeps things together.
示例代码(https://github.com/smilejay/python/blob/master/py2014/try_guppy.py):

代码如下:

#!/usr/bin/env python

'''
Created on May 31, 2014

@author: Jay

@description: just try to use Guppy-PE (useing Heapy) for memory profiling.
'''

 
from guppy import hpy

a = [8] * (10 ** 6)

h = hpy()
print h.heap()
print h.heap().more
print h.heap().more.more

注意其中,要输出更多信息的.more用法。
运行上面的程序,输出结果为:

代码如下:

jay@Jay-Air:~/workspace/python.git/py2014 $python try_guppy.py
Partition of a set of 26963 objects. Total size = 11557848 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0    177   1  8151560  71   8151560  71 list
     1  12056  45   996840   9   9148400  79 str
     2   5999  22   488232   4   9636632  83 tuple
     3    324   1   283104   2   9919736  86 dict (no owner)
     4     68   0   216416   2  10136152  88 dict of module
     5    199   1   210856   2  10347008  90 dict of type
     6   1646   6   210688   2  10557696  91 types.CodeType
     7   1610   6   193200   2  10750896  93 function
     8    199   1   177008   2  10927904  95 type
     9    124   0   135328   1  11063232  96 dict of class

 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
    10   1045   4    83600   1  11148456  96 __builtin__.wrapper_descriptor
    11    109   0    69688   1  11218144  97 dict of guppy.etc.Glue.Interface
    12    389   1    34232   0  11252376  97 __builtin__.weakref
    13    427   2    30744   0  11283120  97 types.BuiltinFunctionType
    14    411   2    29592   0  11312712  98 __builtin__.method_descriptor
    15     25   0    26200   0  11338912  98 dict of guppy.etc.Glue.Share
    16    108   0    25056   0  11363968  98 __builtin__.set
    17    818   3    19632   0  11383600  98 int
    18     66   0    18480   0  11402080  98 dict of guppy.etc.Glue.Owner
    19     16   0    17536   0  11419616  99 dict of abc.ABCMeta

(后面省略了部分输出)

另外,还有一个叫“PySizer”的也是做memory profiling的,不过没怎么维护了。


    
 
 

您可能感兴趣的文章:

  • 使用setup.py安装python包和卸载python包的方法
  • Python开发的单词频率统计工具wordsworth使用方法
  • python回调函数的使用方法
  • Python的函数嵌套的使用方法
  • Python strip lstrip rstrip使用方法
  • python迭代器的使用方法实例
  • python中的yield使用方法
  • python sys模块sys.path使用方法示例
  • python基础教程之lambda表达式使用方法
  • 使用Python判断IP地址合法性的方法实例
  • c++生成dll使用python调用dll的方法
  • python基础教程之类class定义使用方法
  • 浅析python 内置字符串处理函数的使用方法
  • Python列表推导式的使用方法
  • unix/linux知识 iis7站长之家
  • 跨平台python异步回调机制实现和使用方法
  • Python中使用item()方法遍历字典的例子
  • Python使用函数默认值实现函数静态变量的方法
  • Python yield使用方法示例
  • python中使用urllib2伪造HTTP报头的2个方法
  • linux系统使用python获取内存使用信息脚本分享
  • python使用内存zipfile对象在内存中打包文件示例
  • Python使用稀疏矩阵节省内存实例
  • 使用python获取CPU和内存信息的思路与实现(linux系统)
  • 使用Python获取CPU、内存和硬盘等windowns系统信息的2个例子
  • Python的内存泄漏及gc模块的使用分析
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • 使用python检测手机QQ在线状态的脚本代码
  • python定时检查启动某个exe程序适合检测exe是否挂了
  • python检测lvs real server状态
  • phpsir 开发 一个检测百度关键字网站排名的python 程序
  • python检测服务器是否正常
  • python中使用OpenCV进行人脸检测的例子
  • 用Python和MD5实现网站挂马检测程序
  • python使用正则表达式检测密码强度源码分享
  • Python编写检测数据库SA用户的方法
  • 测试、预发布后用python检测网页是否有日常链接
  • 一个检测OpenSSL心脏出血漏洞的Python脚本分享
  • Python GUI编程:tkinter实现一个窗口并居中代码
  • 让python同时兼容python2和python3的8个技巧分享
  • Python不使用print而直接输出二进制字符串
  • 不小心把linux自带的python卸载了,导致安装一个依赖原python的软件不能安装,请问该怎么办?
  • Python中实现json字符串和dict类型的互转
  • python读取csv文件示例(python操作csv)
  • python异常信息堆栈输出到日志文件
  • python基础教程之python消息摘要算法使用示例
  • python下用os.execl执行centos下的系统时间同步命令ntpdate
  • 新手该如何学python怎么学好python?
  • Python namedtuple对象json序列化/反序列化及对象恢复
  • 使用python删除nginx缓存文件示例(python文件操作)
  • Python获取网页编码的方法及示例代码
  • python学习手册中的python多态示例代码
  • Python异常模块traceback用法举例
  • 请教:system("C:\python2.4\python.exe C:\aa.py");该语句有何错误?为什么运行界面一闪就消失了并且没有运行完,请给出正确语句!
  • python之平台独立的调试工具winpdb介绍
  • python版本的问题
  • 基于Python的Html/xml解析库Beautiful Soup 4.2.1发布
  • Mac OS X10.9安装的Python2.7升级Python3.3步骤详解


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3