<div dir="ltr">Hi All,<div><br></div><div>I'm looking at omnios to evaluate what I bet many people have tried before, an HA zfs setup for proxmox (using their zfs over iscsi)</div><div><br></div><div>My setup is as follows:</div><div><br></div><div>san1 and san2 running debian stretch, using pacemaker LIO to export DRBD device</div><div><br></div><div>zfshead1 and zfshead2 running omnios, as iscsi initiator, mounting a disk from each shelf in a mirror, then exporting from ZFS volume to proxmox.</div><div><br></div><div>heartbeat is installed in omnios as per Igors work.</div><div><br></div><div><a href="https://icicimov.github.io/blog/high-availability/ZFS-storage-with-OmniOS-and-iSCSI/">https://icicimov.github.io/blog/high-availability/ZFS-storage-with-OmniOS-and-iSCSI/</a><br></div><div><br></div><div>Now, this all works seemingly OK. The problem comes, when I fail over between the "sans" in pacemaker. If I only have 1 iscsi target mounted in omnios, then it all works ok, however if I have more than 1 ZFS immediately faults. I can see the following in the log:</div><div><br></div><div>WARNING: iscsi session(5) is unable to offline obsolete logical unit 1<br></div><div><br></div><div>then</div><div><br></div><div>WARNING: iscsi driver unable to online lun<br></div><div><br></div><div>Which to me, means its tried to restart the iscsi connection and failed? Again, this only happens after I add more than 1 target. A single target seems to work fine.</div><div><br></div><div>I tried to use ERL mode 2 but it seems omnios doesn't support this as initiator.</div><div><br></div><div>Has anyone got any ideas about this? Or any pointers?</div><div><br></div><div>Also let me know if you need more info.</div><div><br></div><div>Thanks,</div><div>Mark</div><div><br></div><div><br></div><div><br></div></div>