当前位置: 技术问答>linux和unix
请教gzip压缩大量文件的性能问题
来源: 互联网 发布时间:2017-02-24
本文导语: 请教gzip压缩大量文件的性能问题。 ------------------- 我现在每天有400G左右的数据(2000个文本文件), 准备采用gzip --fast来压缩。 不准备做文件打包,就还是压缩为2000个。 我机器的内存大约有50个G可用。 一个一个的...
请教gzip压缩大量文件的性能问题。
-------------------
我现在每天有400G左右的数据(2000个文本文件),
准备采用gzip --fast来压缩。
不准备做文件打包,就还是压缩为2000个。
我机器的内存大约有50个G可用。
一个一个的压缩大约需要2个多小时。
我想直接执行: gzip --fast -c *
我想请教一下:
是否会产生对机器的不利影响?
是否会在压缩过程发生数据错位或丢失的情况?
或者还用什么更好的GZ格式的压缩办法,跪请各位大侠指点指点。
-------------------
我现在每天有400G左右的数据(2000个文本文件),
准备采用gzip --fast来压缩。
不准备做文件打包,就还是压缩为2000个。
我机器的内存大约有50个G可用。
一个一个的压缩大约需要2个多小时。
我想直接执行: gzip --fast -c *
我想请教一下:
是否会产生对机器的不利影响?
是否会在压缩过程发生数据错位或丢失的情况?
或者还用什么更好的GZ格式的压缩办法,跪请各位大侠指点指点。
|
是否会产生对机器的不利影响?
A: CPU负载会很高,不知道你的计算机硬件配置。如果很多人使用的服务器上使用,要特别注意,尽量选择晚上用户很少的时候执行压缩动作。
是否会在压缩过程发生数据错位或丢失的情况?
A:不会,除非gzip有bug.
或者还用什么更好的GZ格式的压缩办法,跪请各位大侠指点指点。
A: tar -jcvf file-name.tar.bz2 original-file,bz2的压缩比似乎更好。如果想节省磁盘空间,建议用这个。
A: CPU负载会很高,不知道你的计算机硬件配置。如果很多人使用的服务器上使用,要特别注意,尽量选择晚上用户很少的时候执行压缩动作。
是否会在压缩过程发生数据错位或丢失的情况?
A:不会,除非gzip有bug.
或者还用什么更好的GZ格式的压缩办法,跪请各位大侠指点指点。
A: tar -jcvf file-name.tar.bz2 original-file,bz2的压缩比似乎更好。如果想节省磁盘空间,建议用这个。
|
lzo是一个单独的算法,压缩率略小于gzip,速度却很高
服务器硬盘再快,除非是那种巨型的计算集群,一般中小型服务器I/O性能也不过就是PC的5-10倍吧(比如企业级硬盘+Raid5)
我的意思是说400G文件2个小时处理完不算慢了
至于瓶颈在哪里,得具体分析,看服务器的配置,一般一个gzip进程满速运算会占满一个CPU内核,所以总进程数别超过CPU内核数,至于硬盘么如果硬盘并发性能好,多个进程同时读写性能不降,那就尽量多呗,否则还不如少几个进程
可以在top里,看CPU的used和wait值,wait值过高说明I/O是瓶颈
服务器硬盘再快,除非是那种巨型的计算集群,一般中小型服务器I/O性能也不过就是PC的5-10倍吧(比如企业级硬盘+Raid5)
我的意思是说400G文件2个小时处理完不算慢了
至于瓶颈在哪里,得具体分析,看服务器的配置,一般一个gzip进程满速运算会占满一个CPU内核,所以总进程数别超过CPU内核数,至于硬盘么如果硬盘并发性能好,多个进程同时读写性能不降,那就尽量多呗,否则还不如少几个进程
可以在top里,看CPU的used和wait值,wait值过高说明I/O是瓶颈