当前位置: 技术问答>linux和unix
求助:Ubuntu的sort命令在处理中文时出现问题
来源: 互联网 发布时间:2016-08-13
本文导语: 在搜索引擎分词后建立索引过程中,我用到了sort 命令,希望通过这个命令将文件中一样的词放在一起,文档格式如下 罚款/vi 1 违法/vn 1 所得/n 1 没收/v 1 违法/vn 1 所得/n 1 规定/n 1 冒用/v 1 居民/n 1 表示为:词语/词性...
在搜索引擎分词后建立索引过程中,我用到了sort 命令,希望通过这个命令将文件中一样的词放在一起,文档格式如下
罚款/vi 1
违法/vn 1
所得/n 1
没收/v 1
违法/vn 1
所得/n 1
规定/n 1
冒用/v 1
居民/n 1
表示为:词语/词性 出现的文档编号
希望通过sort达到这种效果
所得/n 1
所得/n 1
居民/n 1
居民/n 1
居民/n 1
公安/n 1
但是在Ubuntu下使用后产生了很多相同的词语却不在一起的问题
居民/n 1
公安/n 1
机关/n 1
所得/n 1
所得/n 1
居民/n 1
居民/n 1
居民/n 1
公安/n 1
机关/n 1
在Redhat中不会出现这种情况,求助
罚款/vi 1
违法/vn 1
所得/n 1
没收/v 1
违法/vn 1
所得/n 1
规定/n 1
冒用/v 1
居民/n 1
表示为:词语/词性 出现的文档编号
希望通过sort达到这种效果
所得/n 1
所得/n 1
居民/n 1
居民/n 1
居民/n 1
公安/n 1
但是在Ubuntu下使用后产生了很多相同的词语却不在一起的问题
居民/n 1
公安/n 1
机关/n 1
所得/n 1
所得/n 1
居民/n 1
居民/n 1
居民/n 1
公安/n 1
机关/n 1
在Redhat中不会出现这种情况,求助
|
我对Ubuntu不熟悉 不过我在Ubuntu9.04里测试了 没问题啊
罚款/vi 1
违法/vn 1
所得/n 1
没收/v 1
违法/vn 1
所得/n 1
规定/n 1
冒用/v 1
居民/n 1
sort之后
罚款/vi 1
规定/n 1
居民/n 1
冒用/v 1
没收/v 1
所得/n 1
所得/n 1
违法/vn 1
违法/vn 1
罚款/vi 1
违法/vn 1
所得/n 1
没收/v 1
违法/vn 1
所得/n 1
规定/n 1
冒用/v 1
居民/n 1
sort之后
罚款/vi 1
规定/n 1
居民/n 1
冒用/v 1
没收/v 1
所得/n 1
所得/n 1
违法/vn 1
违法/vn 1
|
快要沉了,帮你顶下
希望有会的人来帮你解答下
希望有会的人来帮你解答下
|
顶一下
|
ubuntu 8.04测试的,结果如下:
公安/n 1
公安/n 1
机关/n 1
机关/n 1
居民/n 1
居民/n 1
居民/n 1
居民/n 1
所得/n 1
所得/n 1