当前位置:  技术问答>linux和unix

linux文件direct io读取为何效率比非direct io低很多,请专家指点?

    来源: 互联网  发布时间:2016-05-12

    本文导语:  使用如下两种方式进行大尺寸文件顺序读取和随机读取,测试发现不使用Direct io方式打开文件进行读取效率反而很高。 不知为何?请专家指点。     char * realbuff;     posix_memalign( (void**)&realbuff, 512, BUFFER_SIZE )...

使用如下两种方式进行大尺寸文件顺序读取和随机读取,测试发现不使用Direct io方式打开文件进行读取效率反而很高。
不知为何?请专家指点。

    char * realbuff;
    posix_memalign( (void**)&realbuff, 512, BUFFER_SIZE );

#ifdef DIRECT_IO
    fp = open("xxx.tar",  O_RDONLY|O_DIRECT)
#else
    fp = open("xxx.tar",  O_RDONLY)
#endif

    read(fp, realbuff, BUFFER_SIZE);

测试发现,被读文件尺寸14687917字节,连续读取10次。
direct io方式:读取需要接近3秒。
非direct io: 读取0.8秒。

|
你在使用标准IO库接接口前使用setvbuf()设置一下缓冲长度,然后direct IO也使用这个缓冲长度看一看,应该是差不多的。标准IO库的输入输出接口最终都是要调用系统接口的,只是当带缓冲时并不是你每一次调用标准IO接口都会有一个相应的系统IO调用,是当你缓冲区满的时候还进行一次系统IO调用。谭浩强的书可能没有对系统调用跟标准库接口进行区分吧.

|
O_DIRECT是控制内核系统调用是否缓存,如果O_DIRECT,内核设置DMA直接到用户空间buffer,不在内核设置缓存区。
fopen是C库函数,不管底层什么样,它自己提供用户空间缓存。
O_DIRECT选项被人诟病,推荐使用的是posix_fadvise或madvise。

|
fopen跟操作系统无关,是C库自己提供缓存的,是用户空间缓存。
谭是从C库的角度讲,C库的open不做缓存,fopen做。二者的实现都是调用系统调用open,C库的open和系统调用的open是两个层面的东西。
系统调用的open必须用O_DIRECT才不缓存。
open比fopen高,是因为fopen多了一次缓存拷贝。

|
这个测试受到很多地方的影响,比如硬盘驱动器自身的缓存机制。
还有操作系统对近期访问过的文件有优化下次访问的机制。

要测试的话,每次测试必须要关闭机器,然后重新开机。才能获得比较准确的结果。
理论上来说,只要缓冲区设置的合理,应该是直接的OPEN效率高点的。
个人想法,可能有不对的地方。

|
标准IO库为你选取了最佳的缓冲区长度,而直接IO不会。

    
 
 

您可能感兴趣的文章:

  • 关于Linux中romfs的问题,请高手指点指点
  • 菜鸟求救:在linux下安装jdk失败。初次使用linux,还请各路大虾指点指点,不甚感激!!!
  • 我的linux的安装问题,请大家给指点指点。多谢了!!!
  • 求高手指点,arm-linux
  • Linux 安装开发环境报错 求指点
  • 请各位使用过Linux的进来看看,指点指点(在线等待)! 谢谢
  • Linux的嵌入式开发,请高手指点
  • 刚刚进入linux下编程,请指点入门~~~
  • linux内核里面的所有头文件,有没有整理过的,请高手指点!谢谢!!!
  • 如何运程控制 linux 请高手指点。
  • 何运程控制 linux 请高手指点。
  • 想走嵌入式linux设备驱动方向,请多指点
  • 请指点: 在windows下能否通过程序来获取linux下的用户列表,甚至通过自己写的windows程序界面增加修改linux的用户
  • 板载AC97声卡的驱动问题,望Linux 高手指点
  • linux平台下面,能同时支持php,asp吗,如果可以,能不能详细指点。 在线等候!
  • 请linux的gnome开发高手指点
  • 关于在VMware下安装linux,请高手指点,先谢过!
  • 下一步该学习linux/unix的什么?请高手指点……
  • 有关linux这方面的应用和发展方向有哪位高手可以指点我一下!!!
  • linux下如何执行project文件,高人指点。
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • linux 下使用 FREETDS 访问数据库 image 字段的问题, 仅能读取 64K ,超出部分读取不到?
  • linux下的mib读取问题?大虾帮解答下
  • Linux下怎么样读取非标准输入设备键盘的值?
  • 请问在Linux里,如何用JAVA读取内存里的PATH设置
  • LINUX如何读取网络文件
  • 局域网中,linux机器如何读取windows下共享的文件?
  • LINUX下如何读取SCSI硬盘序列号
  • 怎样在Linux下读取物理内存
  • linux下编程读取windows数据
  • Linux下,如何读取网卡接收的数据包啊?
  • linux下如何用c语言读取和设置网关
  • 谁知道linux/unix下利用Schema读取校验xml的开源代码,给一个链接,谢谢!
  • 解决Linux串口分段读取?
  • 在linux系统下,如何在程序内部读取NAS上的数据?
  • 请问linux中有没有可以读取BIOS信息的驱动程序!
  • linux串口读取数据的问题,select
  • linux下如何用C实现对嵌入式开发板AD部分寄存器的读取?
  • 求在Linux(Ubuntu)下的C截屏代码(读取/dev/fb0)!!
  • 安装vmware软件,不用再安装linux系统,就可以模拟linux系统了,然后可以在其上学习一下LINUX下的基本操作 了? iis7站长之家
  • 请问LINUX下怎么用C语言对文件进行操作(包括新建、读取、删除、修改)
  • linux c/c++ IP字符串转换成可比较大小的数字
  • 在win分区上安装linux和独立分区安装linux有什么区别?可以同时安装吗?(两个linux系统)
  • linux哪个版本好?linux操作系统版本详细介绍及选择方案推荐
  • 在虚拟机上安装的linux上,能像真的linux系统一样开发linux程序么?
  • secureCRT下Linux终端汉字乱码解决方法
  • 我重装window后,把linux的引导区覆盖了,进不了linux怎么办?急啊,望热心的人帮助 (现在有linux的盘)
  • Linux c字符串中不可打印字符转换成16进制
  • 安装vmware软件,不用再安装linux系统,就可以模拟linux系统了,然后可以在其上学习一下LINUX下的基本操作 了?
  • Linux常用命令介绍:更改所属用户群组或档案属性
  • 红旗Linux主机可以通过127.0.0.1访问,但如何是连网的Win2000机器通过Linux的IP去访问Linux
  • linux命令大全详细分类介绍及常用linux命令文档手册下载


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3