author:skate
time:2013/03/01
mysql在线无性能影响删除7G大表
如何在mysql数据库里删除7G(或更大)大表,使其又不影响服务器的io,导致性能下降影响业务。先不说其是mysql表,就是普通文件,如果直接rm删除,也会使服务器的io性能急剧下降;换个思路如果用化整为零的方式,分多次大大文件一点一点删除,就可以避免因删除文件占用太多服务器io资源
例子:
版本:
mysql> select version();
+------------+
| version() |
+------------+
| 5.1.67-log |
+------------+
1 row in set (0.05 sec)
数据表大小:
mysql> select count(1) from user4;
+----------+
| count(1) |
+----------+
| 36700160 |
+----------+
1 row in set (1 min 35.66 sec)
[root@racdb2 test]# ll user_bak*
-rw-rw---- 1 mysql dba 10466 Mar 1 13:50 user4_bak.frm
-rw-rw---- 2 mysql dba 7734296576 Mar 1 14:28 user4_bak.ibd
[root@racdb2 test]#
创建一个中间表,来见减少对业务影响
mysql> create table user4_tmp engine=innodb select * from user4 where 1=2;
Query OK, 0 rows affected (0.18 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| a |
| b |
| user |
| user1 |
| user2 |
| user3 |
| user4 |
| user4_tmp |
| utf8 |
+----------------+
9 rows in set (0.01 sec)
把原始表user4重命名
mysql> rename table user4 to user4_bak;
Query OK, 0 rows affected (0.03 sec)
把中间表重命名为原始表user4,如果需要数据,可以导入部分数据
mysql> rename table user4_tmp to user4;
Query OK, 0 rows affected (0.01 sec)
通过文件的硬链接方式删除文件
[root@racdb2 test]# ln user4_bak.ibd user4_bak.ibd.hdlk
[root@racdb2 test]# ll user_bak*
-rw-rw---- 1 mysql dba 10466 Mar 1 13:50 user4_bak.frm
-rw-rw---- 2 mysql dba 7734296576 Mar 1 14:28 user4_bak.ibd
-rw-rw---- 2 mysql dba 7734296576 Mar 1 14:28 user4_bak.ibd.hdlk
[root@racdb2 test]#
注意:
硬连接的作用是允许一个文件拥有多个有效路径名,即文件的索引节点有一个以上的连接。只删除一个连接并不影响索引节点本身和其它的连接,只有当最后一个连接被删除后,文件的数据块及文件的连接才会被释放。也就是说,文件真正删除的条件是与之相关的所有硬连接文件均被删除。
发现删除7G的文件巨快
mysql> drop table user4_bak;
Query OK, 0 rows affected (0.60 sec)
这个时候在mysql数据库里已经删除了表user4_bak,但系统的存储空间还没有释放,如下所示:
[root@racdb2 test]# ll user_bak*
-rw-rw---- 2 mysql dba 7734296576 Mar 1 14:28 user4_bak.ibd.hdlk
只有我们把文件user4_bak.ibd.hdlk删除,磁盘空间才会被释放,那如何尽量少占用系统资源,最小化影响业务来释放这个空间呢?前面已经分析通过化整为零的方式,通过coreutils工具集中的truncate对大文件进行shrink来逐渐释放空间.
脚本如下:
[root@racdb2 test]# more /home/mysql/rm_bigfile.sh
#!/bin/bash
#author:skate
#time:2013/02/28
#function:rm huge file
TRUNCATE=/usr/local/bin/truncate
for i in `seq 7384 -100 10 `; #从7384开始每次递减100 ,输出结果见下面
do
sleep 1
echo "$TRUNCATE -s ${i}M /tmp/user4_bak.ibd.hdlk "
$TRUNCATE -s ${i}M /mysqldata/data/test/user_bak.ibd.hdlk
done
执行脚本,然后同时开另一个session,用iostat查看系统io的压力
[root@racdb2 test]# sh /home/mysql/rm_bigfile.sh
发现每1s删除100M的文件,服务器基本没有压力
[root@racdb2 coreutils-8.9]# iostat -mx 2 | grep "sda2"
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 10.45 0.00 1.00 0.00 0.04 92.00 0.00 0.50 0.50 0.05
sda2 0.00 2.99 0.00 9.95 0.00 0.05 10.40 0.03 3.20 0.25 0.25
sda2 0.00 9.50 0.00 1.00 0.00 0.04 84.00 0.00 1.50 1.50 0.15
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 9.50 0.00 1.00 0.00 0.04 84.00 0.00 0.50 0.50 0.05
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 14.50 0.00 1.00 0.00 0.06 124.00 0.00 0.50 0.50 0.05
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 9.00 0.00 1.00 0.00 0.04 80.00 0.00 0.50 0.50 0.05
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00&nbs
1.修改root密码
方法1:使用mysqladmin命令
--适用于记得root旧密码,修改root密码
语法:
mysqladmin -u用户名 -p旧密码 password 新密码
例如:
# mysqladmin -u root -proot password mysql
--注意:如当旧密码输入错误时会报如下错误
# mysqladmin -u root -proot1 password mysql
mysqladmin: connect to server at 'localhost' failed
error: 'Access denied for user 'root'@'localhost'
(using password: YES)'
方法2:直接更新user表password字段
--适用于忘记root密码,而对root密码进行重置
Step 1: 修改MySQL的登录设置
# vi /etc/my.cnf
--windows系统是my.ini文件
--在[mysqld]的段中加上一句:skip-grant-tables,如没有[mysqld]字段,可手动添加上
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
skip-name-resolve
skip-grant-tables
Step 2: 重新启动mysql
[root@gc ~]# service mysql restart
Shutting down MySQL..[确定]
Starting MySQL...[确定]
Step 3: 登录并修改MySQL的root密码
--此时直接用mysql即可无需密码即可进入数据库了
[root@gc ~]# mysql
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.5.24 MySQL Community Server (GPL)
Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> use mysql;
Database changed
mysql> update user set password=password('new_password') where user='root';
Query OK, 5 rows affected (0.00 sec)
Rows matched: 5 Changed: 5 Warnings: 0
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
--注意:如果没做step1,直接用mysql登录时会报如下错误
[root@gc ~]# mysql
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
Step 4: 将MySQL的登录设置修改回来
再删除/etc/my.cnf文件中的skip-grant-tables
Step 5: 重新启动mysql
[root@gc ~]# service mysql restart
Shutting down MySQL..[确定]
Starting MySQL...[确定]
2.从‘-- ’序列到行尾。请注意‘-- ’(双破折号)注释风格要求第2个破折号后面至少跟一个空格符(例如空格、tab、换行符等等)。该语法与标准SQL注释语法稍有不同,后者将在1.8.5.7, “‘--’作为注释起始标记”中讨论。
注意:
之所以要求使用空格,是为了防止与自动生成SQL查询有关的问题,它采用了类似下面的代码,其中,自动为“!payment!”插入“payment”的值:
UPDATE account SET credit=credit-!payment!
考虑一下,如果“payment”的值为负数如“-1”时会出现什么情况:
UPDATE account SET credit=credit--1
在SQL中“credit--1”是合法的表达式,但是,如果“--1”被解释为注释开始,部分表达式将被舍弃。其结果是,表达式的意义与预期的意义完全不同。
UPDATE account SET credit=credit
该语句不会对值作任何更改!这表明,允许注释以“--”开始会产生严重后果。
3.从/*序列到后面的*/序列。结束序列不一定在同一行中,因此该语法允许注释跨越多行。
注意:
/*!50001 DROP TABLE IF EXISTS `count_yysbh`*/; 50001表示假如 数据库版本是5.00.01以上版本,“DROP TABLE IF EXISTS `count_yysbh”才会被执行