Linode Xen 下 grsecurity >= 4.3 崩溃问题

自从 Linux 4.3 开始，在 Linode 上使用 PaX/grsecurity 时，内核会在被 pv-grub 执行后不久立即崩溃。由于崩溃是在启动后极早期立刻发生的，没有任何可以用来调试的日志，同时公司也不是盖子开的，也没有办法得到母机上有意义的调试信息。这导致了盖子的 VPS 内核从去年 12 月开始被锁定在 4.2.7。由于不知什么时候产生了 Linode 东京机房会在 2016 年 6 月从 Xen 迁移到 KVM 的错觉，也没有花精力去尝试调试这个问题。

然而今年 Linode 周年庆时硬件全部翻倍，惟独东京机房除外。而根据官方最新的说法，新机房乐观估计要第四季度上线。解决内核问题就不得不提上了盖子的日程，首先是手工修复了不少 CVE 高危漏洞，随后又祭出 diff 折腾半天，内核始终会在启动后立刻死亡。而由于 grsecurity 并不提供 git 源，所以 git bisect 也是不可能的，唯一可用的工具只有 Linux 4.2.7 / 补丁文件，与 Linux 4.3.3 / 补丁文件。

在阅读代码差异时，一个很大的挑战是如何区分上游内核的修改与下游 PaX/grsecurity 补丁的修改。直接比较补丁文件会导致代码上下文丢失，让代码的意图不可理解。最后盖子打算编写一个名为 metadiff 的工具，自动比较并去除在上游中出现的代码段，以便仅仅对 PaX/grsecurity 的代码进行比较，就连名字都想好了就叫 metadiff ，但一直没有动手。

直到上个月和 Shawn 聊天时，提到了自己装个 Xen 也不是不可行；于是周六终于动手在 VirutalBox 虚拟机里撞了个 Debian + Xen，又在 Xen 里启动了一个虚拟机，果然很快就得到了内核崩溃的 traceback。

rip: ffffffff8100b2b0 pmu_msr_read+0x10flags: 00000282 i s nzrsp: ffffffff81aeff30rax: 8000000000000000  rcx: 0000000000000001  rdx: ffffffff81aeffccrbx: 00000000c0000080  rsi: ffffffff81aeffa0  rdi: 00000000c0000080rbp: ffffffff81aeffa0  r8: 0000000000000001  r9: 00000000ffffffffr10: ffffffff81cf9000  r11: 0000000000000000  r12: ffffffff81aeffccr13: ffffffff81aeffc4  r14: ffffffff81aeffc0  r15: 6f73b764afec1c9d cs: e033    ss: e02b    ds: 0000    es: 0000 fs: 0000 @ 0000000000000000 gs: 0000 @ 0000000000000000/0000000000000000Code (instr addr ffffffff8100b2b0)00 00 00 00 00 41 54 49 89 d4 55 48 89 f5 53 89 fb 48 83 ec 10 <65> 48 8b 04 25 28 00 00 00 48 89 Stack: 0000000000000001 0000000000000000 0000000000000000 ffffffff8100b2b0 000000010000e030 0000000000010082 ffffffff81aeff70 000000000000e02b 0000000000000000 0000000000000000 00000000c0000080 ffffffff81aeffcc ffffffff81aeffc8 ffffffff810041c8 ffffffff81aeffc8 ffffffff81aeffccCall Trace: [<ffffffff8100b2b0>] pmu_msr_read+0x10 <-- [<ffffffff8100b2b0>] pmu_msr_read+0x10 [<ffffffff810041c8>] xen_read_msr_safe+0x18 [<ffffffff81be93eb>] xen_start_kernel+0x1b9

哦？可见内核在 xen_start_kernel 不久就崩溃了，这是 /* First C function to be called on Xen boot */，在如此早期就崩溃，什么错误日志到看不到也就不奇怪了。来看看 xen_read_msr 和 pmu_msr_read 在 4.2 和 4.3 之间有什么改变：

--- ../../4.2.7/linux-4.2.7/arch/x86/xen/enlighten.c  2016-09-11 00:44:12.010022936 +0800+++ arch/x86/xen/enlighten.c  2015-12-15 13:41:43.000000000 +0800@@ -1030,6 +1034,9 @@ static u64 xen_read_msr_safe(unsigned in {    u64 val;+    if (pmu_msr_read(msr, &val, err))+        return val;+    val = native_read_msr_safe(msr, err);    switch (msr) {    case MSR_IA32_APICBASE:@@ -1074,9 +1081,11 @@ static int xen_write_msr_safe(unsigned i        /* Fast syscall setup is all done in hypercalls, so          these are all ignored. Stub them out here to stop          Xen console noise. */+        break;    default:-        ret = native_write_msr_safe(msr, low, high);+        if (!pmu_msr_write(msr, low, high, &ret))+            ret = native_write_msr_safe(msr, low, high);    }    return ret;