<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 23, 2014 at 10:36 PM, Michael Rasmussen <span dir="ltr"><<a href="mailto:mir@miras.org" target="_blank">mir@miras.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Fri, 24 Oct 2014 12:08:14 +1100<br>
David Bomba <<a href="mailto:turbo124@gmail.com">turbo124@gmail.com</a>> wrote:<br>
<br>
> Correct, they are 40Gb/s cards.<br>
I have heard same stories of problems with 40Gb/s cards on Linux and<br>
FreeBSD. What it boils down to is that at this speed software subnet<br>
manager is causing problems so always use a switch with hardware subnet<br>
manager.<br></blockquote><div><br></div><div>This sounds apocryphal and wrong to me. I know of a several large infiniband networks (1k+ host ports, non-blocking) that run with subnet managers running on linux machines and generally work pretty well. A few remarks:</div><div> - subnet managers are a part of the control plane, they don't participate directly in the data plane after initial connection setup. This means that the footprint of a QDR port is the same as an SDR port; data packets aren't processed through the subnet manager. </div><div> - subnet managers aren't bug-free -- the versions integrated into switch firmware can't be upgraded a la carte, so you are dependent on the vendor to release a new version of the switch firmware to get bugfixes. </div><div> - the processors included in switches are embedded and hence slow. this could easily make a difference to subnet performance, if you need to talk to the subnet manager frequently to get new path records. </div><div><br></div><div>I'd strongly recommend against running switch provided subnet managers. </div><div> -nld</div></div></div></div>