当前位置:  编程技术>php

php+ajax导入大数据时产生的问题处理

    来源: 互联网  发布时间:2014-08-26

    本文导语:  遇到的问题就从先到后的一一说吧。 问题1 按照我最初的想法,先上传文件再读取文件。这里问题就来了,当文件较大的时候上传较慢,导致客户看到的操作一直处于等待状态,不人性化。 处理办法:我是这样做的,大神有更...

遇到的问题就从先到后的一一说吧。

问题1 按照我最初的想法,先上传文件再读取文件。这里问题就来了,当文件较大的时候上传较慢,导致客户看到的操作一直处于等待状态,不人性化。

处理办法:我是这样做的,大神有更好的办法,求介绍。我先把文件上传上去,然后把文件存到一个特定的文件夹就叫 import吧   ,然后返回一个这个文件名字。这样就确保了文件是上传成功的。并且我可以在他返回名字的这一步用js  给客户一个提示。然后就是ajax去请求php读取文件,插入数据库。可是问题来了。

问题2 当我用ajax去请求php读取文件并插入数据库的时候,遇到一个问题,就是ajax请求总是在1min的时候,断掉。我一想 ,这应该是php的最大执行时间max_execution_time的原因吧,结果我修改为300秒。还是这样,那我就认为会不会是apache的 最大get时间max_input_time呢,我就在代码加一个 ini_set  结果,用ini_get   查看max_input_time,用ini_set设置无效,还是60秒,在网上查了很多资料,还是不知道为啥。有大神知道的,请给我回复下。菜鸟先谢过了。那没办法,我只能去服务器把php.ini配置修改了。经理说不让修改的,为了测试,偷偷改了--最后修改回来了。修改之后,测试,还是不行。还是到一分钟 就执行超时。真的很纳闷。不知道什么原因。求指教。那没办法。

这种办法行不通了,对一个5m的文件只能分行读取了。然后就是对代码的一通修改,分行读取是这样操作的,先ajax请求,然后每次读取2000条  然后对这2000条数据进行处理,插入数据库(文章最后介绍一个好用的分行读取函数)。然后每次ajax执行完,返回一个状态符,和本次读取到的行数,然后下次接着读。知道最后读取完。这中间还遇到一个问题:就是当我对每一行数据进行查重的时候遇到的,是这样的,我对得到的内容进行循环,然后查一下每行是否存在,当我判断$count是否大于0 的时候,当已存在的时候,我用continue,执行下一次循环。但是当我在导入10000条的时候,总是在8000条的时候报错说 服务器内部错误。很闷,不解问什么,结果只能用if  else代替了。纳闷。一个小提醒:插入数据库的时候 不要一条一条的插入,最好这样 inset  into  aaa(`xx`,`xxx`)values('111','111'),('222','222')。这样 速度会快很多。

行号读取函数,SplFileObject这个类库真的很好用推荐。有知道我的问题的,求大神指教。

代码如下:

function getFileLines($filename, $startLine, $endLine, $method = 'rb'){
      $content = array();
      $filename = DATA_PATH.DS.'import' . DS . $filename;
      $count = $endLine - $startLine;
      $fp = new SplFileObject($filename, $method);
      $fp->seek($startLine); // 转到第N行, seek方法参数从0开始计数
      for ($ii = 0; $ii current(); // current()获取当前行内容
            $fp->next(); // 下一行
      }
      return array_filter($content); // array_filter过滤:false,null,''
}

    
 
 

您可能感兴趣的文章:

  • php导入excel php使用phpexcel导入excel文件
  • PHP导入sql文件三种方法
  • php导入csv文件中文乱码的解决方法
  • 使用php语句将数据库*.sql文件导入数据库
  • 解决php csv文件导入mysql中文乱码
  • php导入SQL文件(示例代码)
  • php数据批量导入csv文件(示例)
  • php导入大量数据到mysql(示例)
  • PHP导入与导出Excel文件的方法
  • php导入数据到mysql实现代码
  • PHP处理SQL脚本文件导入到MySQL的代码实例
  • php导入csv到mysql数据库
  • php mysql数据库导入脚本(示例)
  • php导出与导入csv文件的例子
  • php excel格式(csv)数据导入导出(示例)
  • php导入csv到sql文件自动插入数据库(示例)
  • php上传csv文件导入数据库(示例)
  • php 导入sql到mysql数据库方法解析
  • 使用PHP导入与导出CSV文件实例详解
  • php实现SQL Server数据导入Mysql数据库(示例)
  • php is_numberic函数产生sql注入漏洞怎么解决
  • PHP程序漏洞产生的原因分析与防范方法说明
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • PHP严重致命错误处理:php Fatal error: Cannot redeclare class or function
  • PHP图像处理库 ImageWorkshop
  • PHP图像处理库 Imagine
  • php 下载文件名带空格怎么处理
  • PHP支付处理库 Omnipay
  • PHP的Zip压缩包处理类 TbsZip
  • PHP图像处理模块 MagickWand
  • Web服务器/前端 iis7站长之家
  • windows下配置apache+php+mysql时出现问题的处理方法
  • PHP配置文件处理类代码
  • nginx:413 Request Entity Too Large的处理办法--修改 PHP上传文件大小
  • php事务处理实例详解
  • php异常处理使用示例
  • PHP开发框架kohana中处理ajax请求的例子
  • php5.2 Json不能正确处理中文、GB编码的解决方法
  • PHP中模拟处理HTTP PUT请求的例子
  • PHP按行读取、处理较大CSV文件的代码实例
  • PHP中使用asort进行中文排序失效的问题处理
  • PHP按行读取、处理较大CSV文件的例子
  • php中json_encode处理gbk与gb2312中文乱码问题的解决方法
  • 分享一个php 的异常处理程序
  • 修改配置真正解决php文件上传大小限制问题(nginx+php)
  • IIS7配置PHP图解(IIS7+PHP_5.2.17/PHP_5.3.5)
  • PHP 5.4.19 和 PHP 5.5.3 发布及下载地址
  • php输入流php://input使用示例(php发送图片流到服务器)
  • 修改配置真正解决php文件上传大小限制问题(apache+php)
  • PHP转换器 HipHop for PHP
  • PHP去除html标签,php标记及css样式代码参考
  • PHP 框架 Pop php
  • PHP 'ext/soap/php_xml.c'不完整修复存在多个任意文件泄露漏洞
  • PHP的JavaScript框架 PHP.JS


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3