当前位置:  技术问答>linux和unix

请教gzip压缩大量文件的性能问题

    来源: 互联网  发布时间:2017-02-24

    本文导语:  请教gzip压缩大量文件的性能问题。 ------------------- 我现在每天有400G左右的数据(2000个文本文件), 准备采用gzip --fast来压缩。 不准备做文件打包,就还是压缩为2000个。 我机器的内存大约有50个G可用。 一个一个的...

请教gzip压缩大量文件的性能问题。
-------------------
我现在每天有400G左右的数据(2000个文本文件),
准备采用gzip --fast来压缩。
不准备做文件打包,就还是压缩为2000个。
我机器的内存大约有50个G可用。
一个一个的压缩大约需要2个多小时。
我想直接执行: gzip --fast -c * 

我想请教一下:
是否会产生对机器的不利影响?
是否会在压缩过程发生数据错位或丢失的情况?

或者还用什么更好的GZ格式的压缩办法,跪请各位大侠指点指点。

|
是否会产生对机器的不利影响?
A: CPU负载会很高,不知道你的计算机硬件配置。如果很多人使用的服务器上使用,要特别注意,尽量选择晚上用户很少的时候执行压缩动作。

是否会在压缩过程发生数据错位或丢失的情况?
A:不会,除非gzip有bug.

或者还用什么更好的GZ格式的压缩办法,跪请各位大侠指点指点。
A: tar -jcvf file-name.tar.bz2 original-file,bz2的压缩比似乎更好。如果想节省磁盘空间,建议用这个。


|
lzo是一个单独的算法,压缩率略小于gzip,速度却很高

服务器硬盘再快,除非是那种巨型的计算集群,一般中小型服务器I/O性能也不过就是PC的5-10倍吧(比如企业级硬盘+Raid5)

我的意思是说400G文件2个小时处理完不算慢了

至于瓶颈在哪里,得具体分析,看服务器的配置,一般一个gzip进程满速运算会占满一个CPU内核,所以总进程数别超过CPU内核数,至于硬盘么如果硬盘并发性能好,多个进程同时读写性能不降,那就尽量多呗,否则还不如少几个进程

可以在top里,看CPU的used和wait值,wait值过高说明I/O是瓶颈

    
 
 

您可能感兴趣的文章:

  • 请教如何在Java中使用arj压缩的文件(压缩和解压缩)Linux下面
  • 请教有什么zip压缩库可以压缩文件夹?
  • 请教tar的压缩、解压算法,谢谢。
  • 请教,关于加密码压缩的方法。
  • 请教:如何利用zlib解压缩!!
  • 请教linux一个压缩的问题
  • 请教个问题,我如何把ls |sort -n|head -n 10 用tar 命令打成一个压缩包?
  • 【请教】Linux下解zip压缩的问题
  • 请教:当压缩文件解压后,得到下面的文件,我应该安装哪一个呢?
  • 标题: 请教:tar.bz2 文件用哪个命令来接压缩,用 tar 可以吗?谢谢!
  • 请教:关于java中的压缩处理
  • 请教tomcat的性能调优该怎么做
  • Linux性能监视·请教。
  • 请教有没有考虑编程性能的资料,紧急
  • 请教各位:只安装TOMCAT而不搭配apache一起使用,在性能上有什么差别
  • 100分!请教有经验的大侠:tomcat的性能极限到底有多大?(内详)
  • 怪了.怪了..AIX 性能问题请教...
  • [新人请教]关于服务器的维护,性能分析
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • 请教,请教,这个问题是为什么????
  • 请教本地硬盘安装问题请教本地硬盘安装问题
  • ■请教■请教redhat最基本的问题!
  • 请教一个 shell 问题,我用下面这个 shell 语句总是失败,请教
  • 高分请教,各位大侠,请教一个问题,理论高手请进??谢谢
  • 请教Linux下pgadmin3-1.0.2的编译和安装!!高分请教!
  • 各位大虾,请教装了REDHAT9操作系统后,启动时无法引导到LINUX,请教该如何解决啊
  • 请教,请教,,,一定要看!!一定要看!!
  • 请教高手,小弟打印width=1500,height=600(A3纸)的Applet,在预览中是该区域是黑的,打印出来也是黑的,请教高手解决一下
  • :请教高手,小弟打印width=1500,height=600(A3纸)的Applet,在预览中是该区域是黑的,打印出来也是黑的,请教高手解决一下
  • 请教象我这样的硬盘应如何安装Linux,我昨天试装了,但有问题。(老问题了,也看了前面的帖子,但还是来请教,请多指教)
  • 请教这种循环的执行过程
  • 请教两个redhat9问题
  • 请教如何在指定目录下查找包含指定文字的文件
  • 请教局域网中如何通过ip地址得到主机名
  • 请教kdevelop的问题
  • 请教linux 下的adsl拨号问题.
  • 请教,如何用虚拟订机安装liux
  • 【请教】LINUX 下SNMP的MIB开发
  • 请教一个opengl的问题


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3