当前位置:  操作系统/服务器>linux

gearman队列持久化引发的问题及解决方法

    来源: 互联网  发布时间:2014-10-17

    本文导语:  本文简述了gearman用mysql持久化的方法,以及由此引发的一些问题,具体分析如下: 一、gearman 创建Mysql持久化队列的方式如下: 1. 登入mysql命令行,运行:    create database gearman;  2. 启动gearman,命令如下: /usr/local/gea...

本文简述了gearman用mysql持久化的方法,以及由此引发的一些问题,具体分析如下:

一、gearman 创建Mysql持久化队列的方式如下:

1. 登入mysql命令行,运行:   

create database gearman; 

 2. 启动gearman,命令如下:

/usr/local/gearman/sbin/gearmand -p 4730 -L 0.0.0.0 --log-file=/tmp/gearmand-4730.log --pid-file=/tmp/gearmand-4730.pid -q MySQL --mysql-host=localhost --mysql-user=root --mysql-db=gearman --verbose DEBUG -d 

具体的参数,根据自己的服务器状况去修改就行了。
 
3. 再次登入mysql命令行,执行:

use gearman; 
show tables; 

就可以看到下面多了个“gearman_queue”的表。

这样,gearman就变成了持久化的方式。
 
二、gearman用mysql持久化之后,会带来如下一些问题:

1. 每个任务都会写入数据库,这样会带来磁盘IO的损耗,并且gearman的性能瓶颈又多了一个可能,就是由数据库引起的性能问题。

2. mysql有个“wait_timeout”的参数,在mysql命令行中运行

show variables like "%timeout%"; 

可以看到wait_timeout的值,默认是28800。也就是说,如果一个mysql的连接,超过28800s没有任何响应,就会断开。
 
3. gearman持久化的方式,如果超过了mysql的wait_timeouts的时间没有任何响应,和数据库的连接就会被mysql断开,而且gearman目前是没有mysql重新连接的,结果就是,会导致如下错误,必须重启gearman才能重新正常工作。
 
gearman报错:

ERROR 2014-04-01 02:10:02.897899 [ proc ] mysql_stmt_execute failed: -> libgearman-server/plugins/queue/mysql/queue.cc:357
ERROR 2014-04-01 02:10:02.897910 [ proc ] gearman_server_job_add gearman_server_run_command(QUEUE_ERROR) -> libgearman-server/server.cc:301

所以,gearman持久化方式带来的缺点显而易见,该方式下,要避免gearman对mysql连接超时断开,可以将mysql的wait_timeout参数改大。
 
或者,干脆直接放弃用mysql的持久化方式。


    
 
 

您可能感兴趣的文章:

 
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • gearman的安装启动及python API使用实例
  • Gearman::XS在Centos下的编译安装方法


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3