当前位置: 技术问答>linux和unix
linux目录下百万级文件应如何处理？
来源: 互联网 发布时间：2017-05-05
本文导语: 我的网站附件图片有100多G，解压出来的的文件个数可能在百万级吧！ 刚买了一个云服务器，我把100来G的文件分别打包在5-6G左右的zip格式上传到服务器目录中，用unzip命令解压，开始解压二个压缩文件速度还可以，当...
我的网站附件图片有100多G，解压出来的的文件个数可能在百万级吧！
刚买了一个云服务器，我把100来G的文件分别打包在5-6G左右的zip格式上传到服务器目录中，用unzip命令解压，开始解压二个压缩文件速度还可以，当解压第三个压缩文件的时候，发现很慢，很慢！解压一个文件要好长时间，可能1个小时，具体时间没测试！不知道为什么？
我的文件存放格式为
upload_files/a/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
刚买了一个云服务器，我把100来G的文件分别打包在5-6G左右的zip格式上传到服务器目录中，用unzip命令解压，开始解压二个压缩文件速度还可以，当解压第三个压缩文件的时候，发现很慢，很慢！解压一个文件要好长时间，可能1个小时，具体时间没测试！不知道为什么？
我的文件存放格式为
upload_files/a/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
|
先看看I/O是不是瓶颈
|
你是写一个bash程序自动运行的？还是手动的？
运行完一个unzip，释放一下内存再运行下一个。
运行完一个unzip，释放一下内存再运行下一个。
|
重新解压第一个文件试试 是不是也变慢了
|
upload_files/a/1.zip &
upload_files/a/2.zip &
upload_files/a/3.zip &
并行
|
单一目录下不要超过1000个文件。
|
limits.conf 这个的问题？
|
直接tar，不要压缩，可以省点压缩世界，哈哈。
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。