超急!!Linux网络服务器在大数据操作后常瘫痪(表现似DoS拒绝服务)
来源: 互联网 发布时间:2016-07-07
本文导语: 我公司有一台在线Linux网络服务器,是MySQL+TcpService构架,同时连接数600个左右,尤其是在我进行大量数据维护时(千万条记录的数据在表间转移),FreeMemory急速下降(总内存4G,有时下降到2G就瘫痪了),即使有...
我公司有一台在线Linux网络服务器,是MySQL+TcpService构架,同时连接数600个左右,尤其是在我进行大量数据维护时(千万条记录的数据在表间转移),FreeMemory急速下降(总内存4G,有时下降到2G就瘫痪了),即使有每分钟的crontab进行drop_cache操作,还是会一不留意整台机器就瘫痪了:服务器是托管给运行商的,我只能远程操作,此时ping能通,但所有TCP连接(SSH、FTP、网络应用客户端TCP连接)都不返回,疑似DoS拒绝服务的状况,只有OS重启才能恢复。
相关信息:
shell> cat /etc/redhat-release /proc/version
Red Hat Enterprise Linux Server release 5.2 (Tikanga)
Linux version 2.6.18-92.el5PAE (brewbuilder@hs20-bc2-3.build.redhat.com) (gcc version 4.1.2 20071124 (Red Hat 4.1.2-41)) #1 SMP Tue Apr 29 13:31:02 EDT 2008
mysql> select version();
5.1.29-rc-community-log
我的疑问有两点:
一、Linux OS有这么脆弱?对它下面的应用程序(比如MySQL)不作限制,任其使用内存,导致整个系统瘫痪?OS级别是否有我配置不当,请告诉我该给出什么配置参数供大家分析。
二、MySQL有这么脆弱?对它下面的SQL操作不作限制,狂吃内存,导致整个OS系统瘫痪?我该给出哪些MySQL参数供大家分析?
因为是在线服务器,很急。最根源的是从OS层次解决问题(因为也许MySQL之外的其他程序也会导致瘫痪),次要的也请指出我在MySQL方面会有哪些使用不当。谢谢!如能圆满解决,愿另开帖子500分相送!
相关信息:
shell> cat /etc/redhat-release /proc/version
Red Hat Enterprise Linux Server release 5.2 (Tikanga)
Linux version 2.6.18-92.el5PAE (brewbuilder@hs20-bc2-3.build.redhat.com) (gcc version 4.1.2 20071124 (Red Hat 4.1.2-41)) #1 SMP Tue Apr 29 13:31:02 EDT 2008
mysql> select version();
5.1.29-rc-community-log
我的疑问有两点:
一、Linux OS有这么脆弱?对它下面的应用程序(比如MySQL)不作限制,任其使用内存,导致整个系统瘫痪?OS级别是否有我配置不当,请告诉我该给出什么配置参数供大家分析。
二、MySQL有这么脆弱?对它下面的SQL操作不作限制,狂吃内存,导致整个OS系统瘫痪?我该给出哪些MySQL参数供大家分析?
因为是在线服务器,很急。最根源的是从OS层次解决问题(因为也许MySQL之外的其他程序也会导致瘫痪),次要的也请指出我在MySQL方面会有哪些使用不当。谢谢!如能圆满解决,愿另开帖子500分相送!
|
很可能是Mysql的问题 我公司曾经一台服务器跟你说的一样 但是download的没有那么平凡 几乎是每月down一次 最后就发现是Mysql的问题 最后备份了数据重新安装了Mysql就好了
有的程序如果log过大也会出现这种情况
ping能通,但所有TCP连接(SSH、FTP、网络应用客户端TCP连接)都不返回 我还只是在Cisco Router上遇到过这样的问题
有的程序如果log过大也会出现这种情况
ping能通,但所有TCP连接(SSH、FTP、网络应用客户端TCP连接)都不返回 我还只是在Cisco Router上遇到过这样的问题
|
或许是MYSQL的问题,看表现不是DDOS攻击。DDOS攻击会填满你的cpu。导致主进程死锁。看你的问题,应该是MYSQL的处理溢出。你可以移植到oracle上测试看下。另外,MySQL的缺陷很明显,大批量数据写入处理非常容易出问题。毕竟级别不够。呵呵。
另外,或许还有另外一种问题。就是传说中的限制流量的网络。但是不知道你的服务器是否有大量对外的流量。当交换机设置流量限制,或每天每周每月限制,就会发生这样的很不和谐的问题。我以前的服务器就是这样,放在美国,而那个服务商弄错了我的网站接入方式,我选择的是10M不限制流量,而他给我接入的是100M限制流量。结果,第三天,第四天,第五天,接连3天晚上都出现了突然服务器不服务了。囧!ping的通,可是啥都连不上,联系服务器供应商重启后就好了。第六天,我一直在SSH上趴着,top看着是否有不和谐的进程,结果啥也没看到,过了一会,突然就不动了。然后我退出再连就咋也连不上了。于是联系服务器供应商,重启。。俺买的是普通免费24小时重启服务。重启一次,等了30多分钟。早知道多花10块一个月。。。
经过这次,我才想起来是不是他们网络接入搞错了。第二天一问,确实是这样,我很气愤的投诉了他们的账户经理,然后到现在一直很正常,从没出过问题。
另外,或许还有另外一种问题。就是传说中的限制流量的网络。但是不知道你的服务器是否有大量对外的流量。当交换机设置流量限制,或每天每周每月限制,就会发生这样的很不和谐的问题。我以前的服务器就是这样,放在美国,而那个服务商弄错了我的网站接入方式,我选择的是10M不限制流量,而他给我接入的是100M限制流量。结果,第三天,第四天,第五天,接连3天晚上都出现了突然服务器不服务了。囧!ping的通,可是啥都连不上,联系服务器供应商重启后就好了。第六天,我一直在SSH上趴着,top看着是否有不和谐的进程,结果啥也没看到,过了一会,突然就不动了。然后我退出再连就咋也连不上了。于是联系服务器供应商,重启。。俺买的是普通免费24小时重启服务。重启一次,等了30多分钟。早知道多花10块一个月。。。
经过这次,我才想起来是不是他们网络接入搞错了。第二天一问,确实是这样,我很气愤的投诉了他们的账户经理,然后到现在一直很正常,从没出过问题。
|
用sar或者其它的工具看看当时的系统资源情况——我碰到的类似的情况是磁盘利用率太高,然后整个系统就没有反应了。
|
很可能是MYSQL占用内存太多, Memory 用完了, 又没有swap用, 整个系统Crash了.
|
我遇到过类似的情况,问题原因也未知
系统开设的服务有:
1、apache2
2、tomcat
3、mysql
4、ssh
5、samba(这个有无都无所谓)
故障表现为:
1、SSH不可用,
2、HTTP不可用
3、主机键盘不可用(数字键和大小写键的指示灯不亮),鼠标不可用(移动鼠标显示器不亮)
最后也是重启后ok。
如果LZ找到原因,还请分享之
系统开设的服务有:
1、apache2
2、tomcat
3、mysql
4、ssh
5、samba(这个有无都无所谓)
故障表现为:
1、SSH不可用,
2、HTTP不可用
3、主机键盘不可用(数字键和大小写键的指示灯不亮),鼠标不可用(移动鼠标显示器不亮)
最后也是重启后ok。
如果LZ找到原因,还请分享之