当前位置:  技术问答>linux和unix

访问超过4G的文件,在Linux或Unix下该怎么做?

    来源: 互联网  发布时间:2017-04-22

    本文导语:  现在想读取一个大文件,可能是几个G或者几十G的文件,可否直接使用fopen打开,fread读取等平时我们用的方法? 在windows下是不可以的,不知道Unix、Linux下是否有限制,或者该怎么解决! 请给一小段代码实例,谢谢...

现在想读取一个大文件,可能是几个G或者几十G的文件,可否直接使用fopen打开,fread读取等平时我们用的方法?
在windows下是不可以的,不知道Unix、Linux下是否有限制,或者该怎么解决!

请给一小段代码实例,谢谢!

|
http://bbs.chinaunix.net/thread-1612117-1-1.html
貌似编译的时候加个选项就可以了

|
这个在linux下面叫large-file support (LFS),在源码开头加上
#define _FILE_OFFSET_BITS 64

就可以了。

|
AIX平台可以这样:
1、编译时增加宏定义_LARGE_FILES,如:xlC -D_LARGE_FILES t.cpp
2、使用fopen64代替fopen
3、程序编译为64位,如:xlC -q64 t.cpp

对于其他unix平台,lz可以尝试一下,编译为64位程序应该是通用的方式

|
你用 open, write, read这些函数,你会发现里头的参数是read, write是size_t 或off_t (lseek);
所以你在编译的时候加入  -DLARGE_FILE  - D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64
即可!
应用层使用参数尽量用size_t, off_t。

|
在 windows 下可以用 CreateFile来打开文件 用 SetFilePointer来定位,用ReadFile来读取。这样多大的文件都可以读。

|
windows下用文件内存映射,参考《windows核心编程》17章----内存映射文件
linux下用mmap,参考《UNIX环境高级编程》14章----14.9 存储映射I/O

|
#define _LARGEFILE_SOURCE
#define _LARGEFILE64_SOURCE
#define _FILE_OFFSET_BITS 64

#include 
#include 
#include 
#include 

int main(int argc, char *argv[])
{
        int fd;

        fd = open("a.txt", O_RDWR|O_CREAT|O_LARGEFILE, 0644);
        if (fd==-1){
                error("open");
                exit(-1);
        }

        close(fd);

        return 0;
}

如上代码定义上面那3个宏,然后再open的参数里加一个O_LARGEFILE,即可!

|
 一个简单的问题竟然这么多人围观?
 #man lseek64
 不就啥都清楚了?

-----------------------------------------
NAME
       lseek64 - reposition 64-bit read/write file offset

SYNOPSIS
       #define _LARGEFILE64_SOURCE
       #include 
       #include 

       off64_t lseek64(int fd, off64_t offset, int whence);

DESCRIPTION
       The  lseek(2) family of functions reposition the offset of the open file associated with the file descrip-
       tor fd to offset bytes relative to the start, current position, or end of the file, when  whence  has  the
       value SEEK_SET, SEEK_CUR, or SEEK_END, respectively.

       For more details, return value, and errors, see lseek(2).

       Four interfaces are available: lseek(), lseek64(), llseek(), and the raw system call _llseek().

   lseek
       Prototype:

            off_t lseek(int fd, off_t offset, int whence);

       The  library  routine  lseek() uses the type off_t.  This is a 32-bit signed type on 32-bit architectures,
       unless one compiles with

            #define _FILE_OFFSET_BITS 64

       in which case it is a 64-bit signed type.

   lseek64
       Prototype:

            off64_t lseek64(int fd, off64_t offset, int whence);

       The library routine lseek64() uses a 64-bit type even when off_t is a 32-bit type. Its prototype (and  the
       type off64_t) is available only when one compiles with

            #define _LARGEFILE64_SOURCE

       The function lseek64() is available since glibc 2.1, and is defined to be an alias for llseek().

。。。 。。。

|
标准方法, 适用于POSIX兼容系统。
http://www.opengroup.org/onlinepubs/000095399/utilities/c99.html
getconf POSIX_V6_ILP32_OFFBIG_CFLAGS;
getconf POSIX_V6_ILP32_OFFBIG_LDFLAGS;
getconf POSIX_V6_ILP32_OFFBIG_LIBS;

    
 
 

您可能感兴趣的文章:

  • 设置sharepoint 2010文档库中的 pdf文件在浏览器中访问的打开方式
  • 在windows可以访问到中文文件名的文件,而在unix下却访问不了,是什么原因?
  • jDK的DOC文件,我解包后,放哪里可以访问到?我想在JCREATER里访问
  • 我的机器装了WINDOWS2000 和 LINUX 7.3 , 请问在LINUX 中如何访问`WIN2K中的文件?同样在WIN2K中如何访问LINUX 中的文件?
  • Linux下的文件打开标志(打开方式)和文件的访问权限有什么不同?
  • 从window上传到linux文件(覆盖同名文件),为什么文件的访问权限会变,怎么避免?
  • ubuntu 中 使用 root 用户 mount 一个文件夹后,一般用户怎么访问这个文件加?
  • jsp文件访问jar文件,路径问题。
  • linux下的php文件放在哪个文件夹下才能访问
  • 在一个文件被一个线程访问的时候,如何限制它不能再被其他线程访问?
  • 高分提问:为何在局域网内可以访问linux机器,然而不能在其文件夹内写入文件?
  • 子进程关闭父进程打开的文件,父进程可以访问该文件吗
  • 用javaApplet的URL,BufferRead等打开服务器上的文件说无权访问主机名称,但在DOS下可以读出该文件?
  • 如何访问名字带有空格的文件或文件夹?
  • 访问JSP文件或者Servlet文件时提示下载的解决方法
  • 用户通过mozilla访问页面文件,提交的参数要记录到系统的配置文件中去,如何来实现这个接口?
  • 浏览器在linux下,允许访问本地文件的设置问题
  • 怎样在Windows里访问和操作Linux的文件呀?
  • 如何使用Servlet访问服务器上的文件夹?
  • 请问怎样在Windows里访问和操作Linux的文件呀?
  • 请教一下关于windows 上的程序访问linux上的文件的问题。
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • Linux下GCC内置原子操作函数(多线程资源访问)介绍
  • 红旗Linux主机可以通过127.0.0.1访问,但如何是连网的Win2000机器通过Linux的IP去访问Linux
  • 在linux下,如何访问另一台linux主机?如何访问windows主机?
  • 高手求救,在windows下访问linux服务器时使用如\192.168.100.1,但是访问失败,问在linux上要怎么设置啊
  • 域内共享的问题?Linux机器可以访问Window机器,但是Window机器不能访问Linux机器?
  • 其他机无法访问linux下tomcat,本机可以访问,其他机可PING到linux的IP,防火墙都已禁用?
  • 配置samba,2000可以访问linux,但是linux不能访问2000的共享目录
  • 从其它电脑访问linux下的apache,有的可以访问,有的却访问不了,请问是什么原因,ping都能ping通的
  • linux中只能让用户访问自己的目录 不能访问其他用户的目录
  • linux下能访问ms vfp 的dbf格式的数据库吗。怎么访问
  • linux可以限定访问的IP,可以限定访问的物理地址吗 ?
  • 在LINUX如何访问网上邻居呀!或是如何让别人访问呢?网络是通的。
  • linux下如何用 C 访问oracle数据库,最好是远程访问
  • VM下安装linux,用SSH可以访问,但是用ie不能访问linux下的网站
  • 我在linux里面配置好了web服务器,可以在本机用自己的IP访问,但是在局域网里面的win却不能访问我这台linux的web页面
  • 请问linux下有没有类似与ODBC的数据库访问标准能够访问MS SQLSERVER ?
  • ●●●linux ssl问题,电脑访问正常,但是通过手机访问就报错 在线等◎◎◎
  • 请教,Linux操作系统,用hub只能访问局域网,不能访问互联网,但用交换机是好的
  • linux中端口不能访问,我该怎么消除限制让它可以访问所有端口
  • 为社么,我该设置的都设置了,我安装的linux只可以访问局域网,internet就访问不了.
  • 在linux中架设好FTP服务后,如何增加访问用户以及如何设置访问目录。
  • C++ I/O 成员 seekg():在一个输入流中进行随机访问
  • 是不是在applet里面不能访问数据库阿?能访问的话,怎么访问?要什么特别的处理吗?100分!
  • Android访问与手机通讯相关类的介绍
  • 未装samba却可以访问windows网络,询问其访问机制
  • “访问控制矩阵比访问控制表更节约空间”
  • 在ReadHatLinux8.0下能否访问NTFS分区?如何访问?
  • php判断正常访问和外部访问的示例
  • 大家遇到过用IP访问和用域名访问效果不一样的情况吗?
  • 为什么我的ActiveX控件在htm中能够访问而在jsp中不能访问?
  • ubuntu下访问google正常,xp下访问google奇慢无比


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,