<div dir="ltr"><div dir="auto" style="word-wrap:break-word">I also came upon this same issue after rebooting one of my OmniOS machines. I did have l2arc devices on my pool until the announcement of the bug found. At that point I immediately removed my l2arc devices and didn't reboot the machine until a convenient time where if something bad were to happen I could manage it. Well, it was good I planned for that reboot ;)<div><br></div><div>I was able to boot in single user mode, delete the pool cache file, reboot, import without mounting (zpool import -N <pool>) and then scrub. Scrub fixed 16kb of data in my 254TB pool.. then exported and imported the pool as rw only to discover that it did not fix the problem at all. Importing as read-only allows proper mounting to pull data off.</div><div><br></div><div>The problem for me stemmed around mounting 1 of my 52 filesystem as rw. I was able to mount the filesystems one by one after a zpool import -N to discover which filesystem was causing the issue.</div><div><br></div><div>I'm still rsync'ng the problem filesystem out since as luck would have it, it was the only one that I wasn't replicating out (probably a good thing considering) since I used it for a scratch drive. But my plan is to destroy then recreate the problem fs after the sync finishes and rsync it back.. And cross my fingers that the problem doesn't come back or get worse..</div><div><br></div><div>The problem I'm seeing that causes this is:</div><div>BAD TRAP: type=e (#pf Page fault) rp=ffffff00f5cee290 addr=20 occurred in module "zfs" due to a NULL pointer dereference<br></div><div><br></div><div><br></div><div><br></div><div>Here's the details of my crash which appears to be the same as yours:</div><div><br></div><div><br></div><div><br></div><div>root@store2:/var/crash/unknown# mdb unix.2 vmcore.2 <br>Loading modules: [ unix genunix specfs dtrace mac cpu.generic uppc apix scsi_vhci zfs mr_sas sd ip hook neti sockfs arp usba stmf stmf_sbd random md lofs idm sata cpc crypto kvm mpt_sas ufs logindmux nsmb ptm smbsrv nfs ipc ]<br>> $c<br>zap_leaf_lookup_closest+0x45(ffffff223e7bd290, 0, 0, ffffff00f5cee3f0)<br>fzap_cursor_retrieve+0xbb(ffffff223e7bd290, ffffff00f5cee650, ffffff00f5cee530)<br>zap_cursor_retrieve+0x11e(ffffff00f5cee650, ffffff00f5cee530)<br>zfs_purgedir+0x67(ffffff2232f41bc0)<br>zfs_rmnode+0x202(ffffff2232f41bc0)<br>zfs_zinactive+0xe8(ffffff2232f41bc0)<br>zfs_inactive+0x75(ffffff2232f44640, ffffff221918b468, 0)<br>fop_inactive+0x76(ffffff2232f44640, ffffff221918b468, 0)<br>vn_rele+0x82(ffffff2232f44640)<br>zfs_unlinked_drain+0xaa(ffffff21f254d000)<br>zfsvfs_setup+0xe8(ffffff21f254d000, 1)<br>zfs_domount+0x131(ffffff223d709368, ffffff222916fd80)<br>zfs_mount+0x24f(ffffff223d709368, ffffff21f2645400, ffffff00f5ceee00, <br>ffffff221918b468)<br>fsop_mount+0x1e(ffffff223d709368, ffffff21f2645400, ffffff00f5ceee00, <br>ffffff221918b468)<br>domount+0x86b(0, ffffff00f5ceee00, ffffff21f2645400, ffffff221918b468, <br>ffffff00f5ceee40)<br>mount+0x167(ffffff2228e61c38, ffffff00f5ceee90)<br>syscall_ap+0x94()<br>_sys_sysenter_post_swapgs+0x149()<br>> ::status<br>debugging crash dump vmcore.2 (64-bit) from store2<br>operating system: 5.11 omnios-8322307 (i86pc)<br>image uuid: 69a1d6dd-f13a-627d-c2a0-b00c9e50a800<br>panic message: <br>BAD TRAP: type=e (#pf Page fault) rp=ffffff00f5cee290 addr=20 occurred in module "zfs" due to a NULL pointer dereference<br>dump content: kernel pages only<br>> ::stack<br>zap_leaf_lookup_closest+0x45(ffffff223e7bd290, 0, 0, ffffff00f5cee3f0)<br>fzap_cursor_retrieve+0xbb(ffffff223e7bd290, ffffff00f5cee650, ffffff00f5cee530)<br>zap_cursor_retrieve+0x11e(ffffff00f5cee650, ffffff00f5cee530)<br>zfs_purgedir+0x67(ffffff2232f41bc0)<br>zfs_rmnode+0x202(ffffff2232f41bc0)<br>zfs_zinactive+0xe8(ffffff2232f41bc0)<br>zfs_inactive+0x75(ffffff2232f44640, ffffff221918b468, 0)<br>fop_inactive+0x76(ffffff2232f44640, ffffff221918b468, 0)<br>vn_rele+0x82(ffffff2232f44640)<br>zfs_unlinked_drain+0xaa(ffffff21f254d000)<br>zfsvfs_setup+0xe8(ffffff21f254d000, 1)<br>zfs_domount+0x131(ffffff223d709368, ffffff222916fd80)<br>zfs_mount+0x24f(ffffff223d709368, ffffff21f2645400, ffffff00f5ceee00, ffffff221918b468)<br>fsop_mount+0x1e(ffffff223d709368, ffffff21f2645400, ffffff00f5ceee00, ffffff221918b468)<br>domount+0x86b(0, ffffff00f5ceee00, ffffff21f2645400, ffffff221918b468, ffffff00f5ceee40)<br>mount+0x167(ffffff2228e61c38, ffffff00f5ceee90)<br>syscall_ap+0x94()<br>_sys_sysenter_post_swapgs+0x149()<br>> ::panicinfo<br>             cpu                3<br>          thread ffffff21f2968440<br>         message <br>BAD TRAP: type=e (#pf Page fault) rp=ffffff00f5cee290 addr=20 occurred in module "zfs" due to a NULL pointer dereference<br>             rdi ffffff223e7bd290<br>             rsi                0<br>             rdx                8<br>             rcx         4170d6eb<br>              r8 ffffff00f5cee3f0<br>              r9 ffffff00f5cee1c8<br>             rax         4170d6f0<br>             rbx ffffff00f5cee650<br>             rbp ffffff00f5cee3d0<br>             r10 fffffffffb854358<br>             r11                0<br>             r12              800<br>             r13                0<br>             r14 ffffff00f5cee3f0<br>             r15 ffffff00f5cee530<br>          fsbase                0<br>          gsbase ffffff21f169c000<br>              ds               4b<br>              es               4b<br>              fs                0<br>              gs              1c3<br>          trapno                e<br>             err                0<br>             rip fffffffff7a11e95<br>              cs               30<br>          rflags            10206<br>             rsp ffffff00f5cee380<br>              ss               38<br>          gdt_hi                0<br>          gdt_lo         700001ef<br>          idt_hi                0<br>          idt_lo         40000fff<br>             ldt                0<br>            task               70<br>             cr0         8005003b<br>             cr2               20<br>             cr3       206fe00000<br>             cr4            426f8<br>> <br><br></div><div><br></div><div><br><div><br><div>________________________<br>Michael Talbott<br>Systems Administrator<br>La Jolla Institute<br></div><br><blockquote type="cite">On Dec 4, 2015, at 7:56 AM, Dan McDonald <<a href="mailto:danmcd@omniti.com" target="_blank">danmcd@omniti.com</a>> wrote:<br><br><br><blockquote type="cite">On Dec 4, 2015, at 10:53 AM, Lawrence Giam <<a href="mailto:paladinemishakal@gmail.com" target="_blank">paladinemishakal@gmail.com</a>> wrote:<br><br>Should I cancel the scrub and try the method that John suggest?<br><br></blockquote><br>I'd let the scrub run to be sure.  If it's the class of bug I'm thinking, though, scrub won't catch it.  :(<br><br>And if you can provide one of those r151014 core dumps, that'd be great.  If this pool has confidential data, though, I can understand why not.<br><br>Dan<br><br>_______________________________________________<br>OmniOS-discuss mailing list<br><a href="mailto:OmniOS-discuss@lists.omniti.com" target="_blank">OmniOS-discuss@lists.omniti.com</a><br><a href="http://lists.omniti.com/mailman/listinfo/omnios-discuss" target="_blank">http://lists.omniti.com/mailman/listinfo/omnios-discuss</a><br></blockquote><br></div></div></div></div>