絡(luò)監(jiān)控：使用ibdiagnet與ibnetdiscover)
一次深夜的丟包排查凌晨?jī)牲c(diǎn)，機(jī)房告警燈閃爍?？蛻舴答丠PC集群的MPI作業(yè)頻繁超時(shí)，檢查應(yīng)用日志發(fā)現(xiàn)RDMA通信偶發(fā)重傳。我登錄管理節(jié)點(diǎn)，第一件事就是敲下ibdiagnet——這個(gè)命令我閉著眼都能打出來(lái)，但每次執(zhí)行時(shí)心里還是會(huì)默念一句“別給我報(bào)錯(cuò)”。輸出結(jié)果里，Errors字段赫然顯示某個(gè)端口的CRC錯(cuò)誤計(jì)數(shù)在增長(zhǎng)。順著ibnetdiscover導(dǎo)出的拓?fù)鋱D，我定位到一根光模塊的鏈路質(zhì)量異常。換掉模塊后，問(wèn)題消失。這不是什么高深的技術(shù)，但如果沒有這兩個(gè)工具，你可能會(huì)在應(yīng)用層排查到天亮。ibdiagnet：網(wǎng)絡(luò)健康診斷的瑞士軍刀ibdiagnet是Mellanox（現(xiàn)NVIDIA）提供的InfiniBand網(wǎng)絡(luò)診斷工具，它不像ibstat那樣只查本地狀態(tài)，而是對(duì)整個(gè)子網(wǎng)管理器管理的網(wǎng)絡(luò)做全面體檢。我習(xí)慣在部署新集群或懷疑網(wǎng)絡(luò)問(wèn)題時(shí)，先跑一遍完整掃描：ibdiagnet-r-lw-c1000這里-r 118、RDMA網(wǎng)絡(luò)監(jiān)控：使用ibdiagnet與ibnetdiscover
一次深夜的丟包排查凌晨?jī)牲c(diǎn)，機(jī)房告警燈閃爍?？蛻舴答丠PC集群的MPI作業(yè)頻繁超時(shí)，檢查應(yīng)用日志發(fā)現(xiàn)RDMA通信偶發(fā)重傳。我登錄管理節(jié)點(diǎn)，第一件事就是敲下ibdiagnet——這個(gè)命令我閉著眼都能打出來(lái)，但每次執(zhí)行時(shí)心里還是會(huì)默念一句“別給我報(bào)錯(cuò)”。輸出結(jié)果里，Errors字段赫然顯示某個(gè)端口的CRC錯(cuò)誤計(jì)數(shù)在增長(zhǎng)。順著ibnetdiscover導(dǎo)出的拓?fù)鋱D，我定位到一根光模塊的鏈路質(zhì)量異常。換掉模塊后，問(wèn)題消失。這不是什么高深的技術(shù)，但如果沒有這兩個(gè)工具，你可能會(huì)在應(yīng)用層排查到天亮。ibdiagnet：網(wǎng)絡(luò)健康診斷的瑞士軍刀ibdiagnet是Mellanox（現(xiàn)NVIDIA）提供的InfiniBand網(wǎng)絡(luò)診斷工具，它不像ibstat那樣只查本地狀態(tài)，而是對(duì)整個(gè)子網(wǎng)管理器管理的網(wǎng)絡(luò)做全面體檢。我習(xí)慣在部署新集群或懷疑網(wǎng)絡(luò)問(wèn)題時(shí)，先跑一遍完整掃描：ibdiagnet-r-lw-c1000這里-r