当前位置: 技术问答>linux和unix
请教高手:消息队列排队处理繁忙如何处理?
来源: 互联网 发布时间:2015-05-05
本文导语: 我的系统的服务程序,一个程序(5个进程)负责接受TCP/IP交易请求,并写入消息队列;另外有一个程序(5个进程)读出消息队列并提交的数据库处理,当数据库处理慢时,等待超时就丢弃并取下一个消息,超时设为3...
我的系统的服务程序,一个程序(5个进程)负责接受TCP/IP交易请求,并写入消息队列;另外有一个程序(5个进程)读出消息队列并提交的数据库处理,当数据库处理慢时,等待超时就丢弃并取下一个消息,超时设为30秒。
现在的问题是,有时数据库由于其他应用的原因,交易阻塞,连续多个交易超时,很快占满了所有进程。当30秒进程超时放弃,取下一个消息时,下一个消息已经超时,于是再取下一个消息,同时前端还一直有消息进来,这样,进程每次取到的消息都是已经等待了30秒以上的交易,都不断的放弃。这样一来,后面的新消息一直就没有机会处理,一直等到可以处理时又超时了。除非停止前端提交请求,否则一直没有机会恢复到可以正常提交到数据库处理。但前端用户很多,每个用户都在不断提交,超时了又重提交....
我怎样处理才能使程序自动跳出这个排队的僵局?系统能自动恢复。现在每次发生这种现象我只有重起程序(重起会杀掉所有的消息)。
另外:我的系统程序是Unix 下C编写的。
现在的问题是,有时数据库由于其他应用的原因,交易阻塞,连续多个交易超时,很快占满了所有进程。当30秒进程超时放弃,取下一个消息时,下一个消息已经超时,于是再取下一个消息,同时前端还一直有消息进来,这样,进程每次取到的消息都是已经等待了30秒以上的交易,都不断的放弃。这样一来,后面的新消息一直就没有机会处理,一直等到可以处理时又超时了。除非停止前端提交请求,否则一直没有机会恢复到可以正常提交到数据库处理。但前端用户很多,每个用户都在不断提交,超时了又重提交....
我怎样处理才能使程序自动跳出这个排队的僵局?系统能自动恢复。现在每次发生这种现象我只有重起程序(重起会杀掉所有的消息)。
另外:我的系统程序是Unix 下C编写的。
|
1。优化数据库的处理,提高处理速度(这是最重要的一点,否则怎么也解决不了)
2。增加服务进程数目(由5个增加到另外一个数量级别),这样同时提交给数据库操作的服务就多了,消息队列阻塞的情况就少些
不过总的来说,一般都是对数据库的操作进行优化,这才是问题的症结所在
2。增加服务进程数目(由5个增加到另外一个数量级别),这样同时提交给数据库操作的服务就多了,消息队列阻塞的情况就少些
不过总的来说,一般都是对数据库的操作进行优化,这才是问题的症结所在
|
消息队列可以采用双向的方式
|
1、优化数据库处理速度,减少多表查询
2、数据库分库,读写分开,甚至分布到不同机器
3、更换更快的机器
2、数据库分库,读写分开,甚至分布到不同机器
3、更换更快的机器