<div dir="ltr"><div>I have the exact same issue Ian.<br><br></div><div>I have multiple XenServers connected to OmniOS storage units. Under specific circumstances, I get iscsi disconnects which prove fatal for the XenServer host guests. These machines run a mixed bag of ConnectX and ConnectX-2 cards<br><br>I have managed to get the system stable, but with severe compromises.<br><br></div><div>Previously using 10Gb cards, I didnt have any problems what so ever.<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 24 October 2014 11:07, Ian Kaufman <span dir="ltr"><<a href="mailto:ikaufman@eng.ucsd.edu" target="_blank">ikaufman@eng.ucsd.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I have had an issue with the Hermon driver and Mellanox ConnectX2 QDR<br>
cards. On one system, I saw this in the log:<br>
<br>
massive02-a hermon: [ID 492207 <a href="http://kern.info" target="_blank">kern.info</a>] hermon1: CQE RNR retry<br>
counter exceeded<br>
<br>
and the card went offline. Now, the interface does not even come up.<br>
Three other identical systems are fine, as are two other systems with<br>
the same card running Illumian 1.0a. I haven't found a way to reset<br>
the RNR counter.<br>
<br>
Ian<br>
<div class="HOEnZb"><div class="h5"><br>
On Thu, Oct 23, 2014 at 4:49 PM, Michael Rasmussen <<a href="mailto:mir@miras.org">mir@miras.org</a>> wrote:<br>
> On Thu, 23 Oct 2014 19:25:47 -0400<br>
> Dan McDonald <<a href="mailto:danmcd@omniti.com">danmcd@omniti.com</a>> wrote:<br>
><br>
>><br>
>> Only older cards.<br>
>><br>
> By older cards do you the mean only 10 gbps cards?<br>
><br>
>> > It is these cards I had in mind:<br>
>> > Voltaire 500 EX-D Dual Port Host Channel Adapter PCIe 20Gbps DDR<br>
>> > InfiniBand Card<br>
>><br>
>> Do you know the PCI ID of that card?  I can double-check, but I'm guessing the answer will be no.<br>
>><br>
>> Dan<br>
>><br>
> prtconf -v from Solaris 11.1<br>
> <a href="https://forums.servethehome.com/index.php?threads/connectx-vpi-infiniband-card-and-solaris-11-1.3211/" target="_blank">https://forums.servethehome.com/index.php?threads/connectx-vpi-infiniband-card-and-solaris-11-1.3211/</a><br>
><br>
> --<br>
> Hilsen/Regards<br>
> Michael Rasmussen<br>
><br>
> Get my public GnuPG keys:<br>
> michael <at> rasmussen <dot> cc<br>
> <a href="http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xD3C9A00E" target="_blank">http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xD3C9A00E</a><br>
> mir <at> datanom <dot> net<br>
> <a href="http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xE501F51C" target="_blank">http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xE501F51C</a><br>
> mir <at> miras <dot> org<br>
> <a href="http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xE3E80917" target="_blank">http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xE3E80917</a><br>
> --------------------------------------------------------------<br>
> /usr/games/fortune -es says:<br>
> [Sir Stafford Cripps] has all the virtues I dislike and none of the<br>
> vices I admire.<br>
>                 -- Winston Churchill<br>
><br>
</div></div><span class="im HOEnZb">> _______________________________________________<br>
> OmniOS-discuss mailing list<br>
> <a href="mailto:OmniOS-discuss@lists.omniti.com">OmniOS-discuss@lists.omniti.com</a><br>
> <a href="http://lists.omniti.com/mailman/listinfo/omnios-discuss" target="_blank">http://lists.omniti.com/mailman/listinfo/omnios-discuss</a><br>
><br>
<br>
<br>
<br>
</span><span class="HOEnZb"><font color="#888888">--<br>
Ian Kaufman<br>
Research Systems Administrator<br>
UC San Diego, Jacobs School of Engineering ikaufman AT ucsd DOT edu<br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
OmniOS-discuss mailing list<br>
<a href="mailto:OmniOS-discuss@lists.omniti.com">OmniOS-discuss@lists.omniti.com</a><br>
<a href="http://lists.omniti.com/mailman/listinfo/omnios-discuss" target="_blank">http://lists.omniti.com/mailman/listinfo/omnios-discuss</a><br>
</div></div></blockquote></div><br></div>