当前位置: 技术问答>linux和unix
※★stackoverflow的解决方法★※
来源: 互联网 发布时间：2016-11-11
本文导语: 本帖最后由 zabaglione 于 2011-03-04 16:42:29 编辑 因为项目需要对一个大文件里面的内容进行排序 这个文件的内容如下所示: 姓名,年龄,收入,职业 mark,30,10000,docotor tom,29,11000,engineer steven,32,13000,teacher ... ... .. 用系统命令的so...
因为项目需要对一个大文件里面的内容进行排序
这个文件的内容如下所示:
姓名,年龄,收入,职业
mark,30,10000,docotor
tom,29,11000,engineer
steven,32,13000,teacher
...
...
..
用系统命令的sort -k 1,2 -t "," 按照文件的内容里面的姓名和年龄进行排序。
由于文件太大了(200m)，导致这个sort命令运行的时候出现了stackoverflow的错误(通过core文件发现的)
我现在想了两个解决办法。
方法1：
把大文件进行分割，然后进行sort，这样可以避免大量的数据处理。
方法2：
用utlimit -s把系统的stack容量临时变大，处理结束之后，再恢复到默认值
不知道大家还有什么别的好方法吗？
这个文件的内容如下所示:
姓名,年龄,收入,职业
mark,30,10000,docotor
tom,29,11000,engineer
steven,32,13000,teacher
...
...
..
用系统命令的sort -k 1,2 -t "," 按照文件的内容里面的姓名和年龄进行排序。
由于文件太大了(200m)，导致这个sort命令运行的时候出现了stackoverflow的错误(通过core文件发现的)
我现在想了两个解决办法。
方法1：
把大文件进行分割，然后进行sort，这样可以避免大量的数据处理。
方法2：
用utlimit -s把系统的stack容量临时变大，处理结束之后，再恢复到默认值
不知道大家还有什么别的好方法吗？
|
如果对大文件进行分割，分头排序
最后怎么对排序结果进行合并呢？他们的内容可能是穿插的
最后怎么对排序结果进行合并呢？他们的内容可能是穿插的
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。