本文主要介绍使用crash工具对kdump生成的vmcore文件进行分析，解析常见的crash命令，前面已讲述两章关于Kdump的内容，读者感兴趣可以点击下面的链接：
1、Kdump调试机理总结（一）
2、Kdump配置及使用详细总结（二）
系统产生异常时，触发Kdump机制，启动捕获内核，用以对生产内核下的内存进行收集和转存。
Kdump用于对内存镜像的转储，它不但可以转储内存镜像到本地硬盘，还可以将内存镜像通过NFS，SSH等协议转储到不同机器的设备上。
本文是将生产内核的内存数据转储在/var/crash目录下，下面开始对其进行分析。
分析vmcore的主要目的:
1、明白内核崩溃的大致原因;
2、对内核崩溃的原因做更细致的分析;
crash是一个被广泛应用的内核奔溃转储文件分析工具。crash工具跟gdb很类似，它可以交互的分析运行中的内核，也可以分析由kdump、netdump、diskdump、xendump产生的core dump文件。
2.1 环境及相关文件准备
使用crash工具分析vmcore，需要：
（1）crash工具(crash)；
（2）崩溃转储文件(vmcore)；
（3）发生崩溃的内核映像文件(vmlinux)，包含调试内核所需调试信息；
（4）crash下不同命令分析vmcore文件。
具体操作：
（1）安装crash工具
（2）崩溃转储文件(vmcore)
发生Kdump后在/var/crash下会生成vmcore文件，也可以手动进入Kdump生成vmcore，具体操作可参考本人博客kdump第二篇，具体链接在文章开头。
（3）准备内核映像文件
一般系统在安装后在/boot目录下，也有个内核映像文件，vmlinuxz开头的文件，但是它是压缩过后的，无法完成调试工作。
我们需要一个带内核调试信息的vmlinux镜像，它有两种获取方式：
1、手动编译vmlinux
手动编译就是正常的编译一个Linux内核，不具体介绍了。
需要注意的是，make menuconfig里配置CONFIG_DEBUG_INFO=y。
2、官网下载vmlinux
下载带有完整调试信息的内核映像文件，内核调试信息包kernel-debuginfo有两个：
对于centos系统，可以在http://debuginfo.centos.org/上下载到各发行版本所需的调试包。
可以通过直接解开这两个包找到vmlinux或者安装这两个包在/lib/debug/lib/modules/3.10.0.x86_64/目录下看到vmlinux内核映像文件：
（4）crash下不同命令分析vmcore文件
1、进入crash环境
2、bt命令
backtrace打印内核栈回溯信息，bt pid 打印指定进程栈信息。
3、log命令
打印vmcore所在的系统内核dmesg日志信息
4、dis命令
dis -l (function+offset) 10 反汇编出指令所在代码，10代表打印该指定位置开始的10行信息。
5、mod命令
mod 查看当时内核加载的所有内核模块信息
重装加载进改内核模块：
6、sym命令
“sym 内存地址”转换指定符号为其虚拟地址，显示系统中对应的符号表信息，并且具体到源代码的那一行
如上面bt打印的RIP: ffffffffc07c5024，使用sym转换查看系统符号信息
sym addr 通过虚拟地址，显示symbol和源码位置
7、ps命令
ps 打印内核崩溃时，正常的进程信息
带 > 标识代表是活跃的进程，ps pid打印某指定进程的状态信息：
11、kmem命令
查看当时系统内存使用信息
12、struct命令
1、查看结构体成员变量，直接struct后面跟结构体名，比如我要看下内核中dentry结构体的定义，可以这样：
2、查看成员变量在结构体中的偏移量，struct加-o选项：
3、查看内存中指定结构体的值，struct后跟指针地址
注：如果要查看二阶指针的值，可以通过rd命令需要先获取一级指针的值，然后再用struct 结构体名 + addr获取具体的值
13、rd命令
读取内存内容
下面将通过struct file**fd的地址，获取fd指针数组中各个file结构体成员地址（二阶指针存放的是file指针的地址，所以可以通过rd获取一级指针的地址；二阶指针+8，则指向下一个file结构体指针）：
14、p命令
p命令可以用来打印出表达式或者变量的值
15、查看某个命令使用方法及使用示例
使用help+某个命令，可以查看这个命令的使用方法及使用示例：
比如我们想看struct命令如何使用，可以执行 help struct命令：
1、Kdump调试机理总结（一）
2、Kdump配置及使用详细总结（二）
3、gdb调试常见命令总结