当前位置: 技术问答>linux和unix
linux下大文件拷贝让系统几乎无法动弹,请教有没较好的办法。
来源: 互联网 发布时间:2016-04-01
本文导语: 以下是我在cp大文件时,用vmstat 2 3后的结果 procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu---- r b swpd free buff cache si so bi bo in cs us sy id wa 0 17 4360 1111...
以下是我在cp大文件时,用vmstat 2 3后的结果
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 17 4360 111184 4076 5553236 0 1 62 60 0 3 2 1 96 2
0 16 4360 98384 4116 5564116 0 0 54 12784 1138 629 0 1 0 99
0 17 4360 65424 4176 5597596 0 0 768 5710 1150 604 1 2 21 76
大部分时候wa都在50左右,而id也在50左右,这时系统反映极其缓慢,其上的tomcat服务器经常访问超时。拷贝的文件比较大,往往在5G以上。
系统只有一个磁盘(阵列):
[root@** ~]# df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/cciss/c0d0p1 478679640 307785180 146578880 68% /
none 4154940 0 4154940 0% /dev/shm
这个文件中存放的是上千万数据的索引,需要经常更新。基本上无法减小。如果分为多个文件,则肯定会影响搜索性能。
这么高的wa是否正常?
是否有其他办法可以改善这种状况呢?
比如让文件复制运行得“温柔”一些。(虽然我可以自己写cp命令,但索引系统更新索引的时候,会导致类似的问题)
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 17 4360 111184 4076 5553236 0 1 62 60 0 3 2 1 96 2
0 16 4360 98384 4116 5564116 0 0 54 12784 1138 629 0 1 0 99
0 17 4360 65424 4176 5597596 0 0 768 5710 1150 604 1 2 21 76
大部分时候wa都在50左右,而id也在50左右,这时系统反映极其缓慢,其上的tomcat服务器经常访问超时。拷贝的文件比较大,往往在5G以上。
系统只有一个磁盘(阵列):
[root@** ~]# df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/cciss/c0d0p1 478679640 307785180 146578880 68% /
none 4154940 0 4154940 0% /dev/shm
这个文件中存放的是上千万数据的索引,需要经常更新。基本上无法减小。如果分为多个文件,则肯定会影响搜索性能。
这么高的wa是否正常?
是否有其他办法可以改善这种状况呢?
比如让文件复制运行得“温柔”一些。(虽然我可以自己写cp命令,但索引系统更新索引的时候,会导致类似的问题)
|
你可以用nice命令来降低进程运行的优先级别,来降低拷贝用的资源.
|
不知道设到http服务器上去,然后用wget多线程玩效果如何……^o^
不知道楼主看懂偶说的没,哈,当年偶在win2k这么干的时候,速度提升了一倍……
不知道楼主看懂偶说的没,哈,当年偶在win2k这么干的时候,速度提升了一倍……
|
可能偶说的不准,是用wget分块下载过去~~~
|
XFS
如果,你不嫌慢的话……
如果,你不嫌慢的话……
|
rsync如何?比直接cp好吧
|
哦,原来是这样,我的意思是,先缩短耗时,既然无法避免,就缩短影响时间……:)
|
我遇到过在linux下往u盘等存储设备上拷贝文件的时候很慢的现象,在xp下就很块,我现在用的是ubuntu 8.04 ,不知道是不是内核I/O模块的问题!
|
swap区是内存两倍吗?
|
本机备份?远程备份?
http://en.wikipedia.org/wiki/List_of_backup_software
看看有没有合适的。
http://en.wikipedia.org/wiki/List_of_backup_software
看看有没有合适的。
|
用cp创建索引?
|
创建索引是你自己控制的吧?
|
//faint
能说一下索引是如何创建的吗?
能说一下索引是如何创建的吗?
|
学习