ITPUB论坛-中国最专业的IT技术社区

   
 注册
热搜:
查看: 9584|回复: 4

[精华] 【MySQL】Innodb 恢复工具介绍

[复制链接]
论坛徽章:
27
ITPUB知识分享者
日期:2012-02-20 17:49:25ITPUB官方微博粉丝徽章
日期:2011-07-01 09:45:27迷宫蛋
日期:2011-07-07 15:25:46紫蛋头
日期:2011-08-10 10:31:56ITPUB十周年纪念徽章
日期:2011-09-27 16:33:28ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222012新春纪念徽章
日期:2012-02-07 09:59:35铁扇公主
日期:2012-02-21 15:02:40ITPUB年度最佳BLOG写作奖
日期:2012-03-13 17:09:53ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48
跳转到指定楼层
1#
发表于 2013-9-14 00:44 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
在和数据打交道的过程中,总会遇到误删除数据的情况,在没有备份和binlog的情况下,如何恢复呢?本文介绍一个工具Percona Data Recovery Tool for InnoDB
使用 该工具的 注意事项:
1 The tools work only for InnoDB/XtraDB tables, and will not work with MyISAM tables. Percona does have a preliminary set of tools for MyISAM data recovery;  
2 The tools work on a saved copy of your data files, not on the running [url=]MySQL[/url] server.
3 There is no guarantee. Even with these tools, data is sometimes unrecoverable. For example, data that is overwritten cannot be recovered with these tools. There may be file system specific or physical means to recover overwritten data.
如果数据被覆盖,则使用该工具无法恢复。必须使用系统或者物理方法来恢复
4 Time is of the essence. The best chance for recovery comes when you act immediately to save a copy of your raw data files as soon as you discover the loss or corruption.
当发生误删除数据时必须立即备份表文件以便确保数据被覆盖或者损坏。
5 There is manual work to do. Not everything is automatic.
6 Recovery depends on knowing your data. As part of the process you may have to choose between two versions of your data. The better you know your data, the better the chance you'll be able to recover it.
需要理解的是innodb-tools工具不是通过连接到在线的database进行[url=]数据恢复[/url],而是通过离线拷贝数据的方式进行的。
注意:不要在MySQL运行的时候,直接拷贝[url=]InnoDB[/url]文件,这样是不安全的,会影响数据恢复过程。不过这点我做了测试,在数据库运行的时候是可以进行数据库恢复的。
   
一 安装
进入解压后根目录下的mysql-source目录,运行配置命令,不运行make命令
wget
cd percona-data-recovery-tool-for-innodb-0.5/mysql_source/
./configure
cd ..
make
编译生成page_parser和constraints_parser工具
注意create_defs.pl脚本需要依赖DBD,DBI,安装过程中可能会遇到错误。


二 模拟误删除数据


root@127.0.0.1 : test 22:12:22> delete from mac where id < 51398;
Query OK, 4999 rows affected (0.62 sec)
root@127.0.0.1 : test 22:12:29>


三  获取数据页
InnoDB页的默认大小是16K,innodb的page分为两大部分,一部分一级索引部分,另一部分为二级索引部分。page_parser工具通过读取数据文件,根据页头中的index ID,拷贝每个页到一个单独的文件中。
如果你的my.cnf配置了innodb_file_per_table=1,那么系统已经帮你实现上述过程。所有需要的页都在单独的.ibd文件,而且通常你不需要再切分它
如果.ibd文件中可能包含多个index,那么将页单独切分开还是有必要的。如果MySQL server没有配置innodb_file_per_table,那么数据会被保存在一个全局的表命名空间,这时候就需要按页对文件进行切分。
[root@rac1 recovery-tool]# ./page_parser  -5 -f /opt/mysql/data/test/mac.ibd   
-5:代表 row format为Compact
-f:代表要解析的文件
输出信息:      
Opening file: /opt/mysql/data/test/mac.ibd:
2051            ID of device containing file
20283635                inode number
33200           protection
1               number of hard links
103             user ID of owner
106             group ID of owner
0               device ID (if special file)
11534336                total size, in bytes
4096            blocksize for filesystem I/O
22560           number of blocks allocated
1377958353      time of last access
1377958359      time of last modification
1377958359      time of last status change
11534336        Size to process in bytes
104857600       Disk cache size in bytes
[root@rac1 recovery-tool]# less pages-1377958391/FIL_PAGE_INDEX/0-205
0-2057/ 0-2058/ 0-2059/
以上三个为索引文件 0-2057/主键,0-2058/ 0-2059/ 二级索引。可以安装开启innodb_table_monitor获取。
四 获取表结构的定义

./create_defs.pl  --host 127.0.0.1 --user root --port 3306 --db test --table mac > include/table_defs.h  
[root@rac1 recovery-tool]# more include/table_defs.h
#ifndef table_defs_h
#define table_defs_h


// Table definitions
table_def_t table_definitions[] = {
        {
                name: "mac",
                {
                        { /* int(10) unsigned */
                                name: "id",
                                type: FT_UINT,
                                fixed_length: 4,


                                has_limits: FALSE,
                                limits: {
                                        can_be_null: FALSE,
                                        uint_min_val: 0,
                                        uint_max_val: 4294967295ULL
                                },


                                can_be_null: FALSE
                        },
                        { /*  */
                                name: "DB_TRX_ID",
                                type: FT_INTERNAL,
                                fixed_length: 6,


                                can_be_null: FALSE
                        },
                        { /*  */
                                name: "DB_ROLL_PTR",
                                type: FT_INTERNAL,
                                fixed_length: 7,


                                can_be_null: FALSE
                        },
                        { /* varchar(50) */
                                name: "mac",
                                type: FT_CHAR,
                                min_length: 0,
                                max_length: 150,


                                has_limits: FALSE,
                                limits: {
                                        can_be_null: FALSE,
                                        char_min_len: 0,
                                        char_max_len: 150,
                                        char_ascii_only: TRUE
                                },


                                can_be_null: FALSE
                        },
                        { /* varchar(50) */
                                name: "name",
                                type: FT_CHAR,
                                min_length: 0,
                                max_length: 150,


                                has_limits: FALSE,
                                limits: {
                                        can_be_null: TRUE,
                                        char_min_len: 0,
                                        char_max_len: 150,
                                        char_ascii_only: TRUE
                                },


                                can_be_null: TRUE
                        },
                        { /* tinyint(4) */
                                name: "scope",
                                type: FT_INT,
                                fixed_length: 1,


                                has_limits: FALSE,
                                limits: {
                                        can_be_null: TRUE,
                                        int_min_val: -128,
                                        int_max_val: 127
                                },


                                can_be_null: TRUE
                        },
                        { /* datetime */
                                name: "gmt_create",
                                type: FT_DATETIME,
                                fixed_length: 8,


                                can_be_null: FALSE
                        },
                        { /* datetime */
                                name: "gmt_modify",
                                type: FT_DATETIME,
                                fixed_length: 8,


                                can_be_null: FALSE
                        },
                        { type: FT_NONE }
                }
        },
};


#endif
五 根据include/table_defs.h,重新编译constraints_parser工具:
[root@rac1 recovery-tool]# make
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c tables_dict.c -o lib/tables_dict.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c check_data.c -o lib/check_data.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -o constraints_parser constraints_parser.c lib/tables_dict.o lib/print_data.o lib/check_data.o lib/libut.a lib/libmystrings.a
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -static -lrt -o page_parser page_parser.c lib/tables_dict.o lib/libut.a
恢复误删除的数据:
./constraints_parser -D -5 -f pages-1377958391/FIL_PAGE_INDEX/0-2057/ > /tmp/mac.rec
LOAD DATA INFILE '/root/recovery-tool/dumps/default/mac' REPLACE INTO TABLE `mac` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'mac\t' (id, mac, name, scope, gmt_create, gmt_modify);


执行 constraints_parser 命令会生成上午load data 的命令,在数据库中执行上述命令即可.
root@127.0.0.1 : test 22:20:54> select count(1) from mac;
+----------+
| count(1) |
+----------+
|     9973 |
+----------+
1 row in set (0.00 sec)
root@127.0.0.1 : test 22:21:09> LOAD DATA INFILE '/tmp/mac.rec' REPLACE INTO TABLE `mac` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'mac\t' (id, mac, name, scope, gmt_create, gmt_modify);
Query OK, 4999 rows affected (0.22 sec)
Records: 4999  Deleted: 0  Skipped: 0  Warnings: 0
root@127.0.0.1 : test 22:21:13> select count(1) from mac;
+----------+
| count(1) |
+----------+
|    14972 |
+----------+
1 row in set (0.00 sec)
root@127.0.0.1 : test 22:21:18> exit


总结
1 整个恢复过程并不顺利,Percona 依赖于perl,在安装的时候遇到DBD安装不了的问题。
2 可以恢复delete的数据,如果执行truncate table 是恢复失败的,drop的时候ibd文件丢同样没有文件来获取数据页而无法进行恢复。
  对于truncate的测试例子大家可以手动测试一下。
  
参考文章




论坛徽章:
27
ITPUB知识分享者
日期:2012-02-20 17:49:25ITPUB官方微博粉丝徽章
日期:2011-07-01 09:45:27迷宫蛋
日期:2011-07-07 15:25:46紫蛋头
日期:2011-08-10 10:31:56ITPUB十周年纪念徽章
日期:2011-09-27 16:33:28ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222012新春纪念徽章
日期:2012-02-07 09:59:35铁扇公主
日期:2012-02-21 15:02:40ITPUB年度最佳BLOG写作奖
日期:2012-03-13 17:09:53ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48
2#
 楼主| 发表于 2013-9-14 00:45 | 只看该作者
可以申请加精华吗?

使用道具 举报

回复
求职 : 研发经理
认证徽章
论坛徽章:
24
生肖徽章2007版:羊
日期:2015-01-23 10:01:06生肖徽章2007版:狗
日期:2014-07-11 16:43:32生肖徽章2007版:龙
日期:2014-07-11 16:43:32生肖徽章:羊
日期:2015-07-16 13:55:05处女座
日期:2016-01-04 16:03:31
3#
发表于 2013-9-15 12:06 | 只看该作者
谢谢您

使用道具 举报

回复
求职 : 数据库管理员
认证徽章
论坛徽章:
31
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:22马上有房
日期:2014-12-09 01:05:19马上加薪
日期:2014-12-08 22:53:43美羊羊
日期:2015-03-04 14:52:282015年新春福章
日期:2015-03-06 11:58:18巨蟹座
日期:2015-11-17 11:02:55双子座
日期:2015-11-17 12:21:47白羊座
日期:2015-12-10 17:27:08射手座
日期:2016-02-23 10:35:00狮子座
日期:2016-02-23 10:11:01
4#
发表于 2013-10-16 13:02 | 只看该作者
支持一下了。

使用道具 举报

回复
论坛徽章:
1
双子座
日期:2015-12-25 10:23:07
5#
发表于 2015-12-20 13:29 | 只看该作者
有测试过的吗?个人测试,删除了10000条数据,结果只找回来4000条左右,比较奇怪,另外,在make时报错,那位遇到过?

gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -static -lrt -o page_parser page_parser.c lib/tables_dict.o lib/libut.a
page_parser.c: In function ‘process_ibfile’:
page_parser.c:249: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 7 has type ‘off_t’
page_parser.c: In function ‘open_ibfile’:
page_parser.c:272: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘__dev_t’
page_parser.c:273: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘__ino64_t’
page_parser.c:275: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘__nlink_t’
page_parser.c:278: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘__dev_t’
page_parser.c:279: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘__off64_t’
page_parser.c:281: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘__blkcnt64_t’
page_parser.c:307: warning: format ‘%lu’ expects type ‘long unsigned int’, but argument 3 has type ‘off_t’

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 |
  | | |
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表