필요 패키지
- rdma
- libibverbs
- opensm (한대에만 설치하면 됨-마스터서버)
- librdmacm, librdmacm-utils, ibacm
- libibverbs-utils
- infiniband-diags, ibutils
- perftest, qperf
RDMA 패키지 설치
[user@host]# yum install rdma [user@host]# dracut -f [user@host]# systemctl enable rdma
rdma.conf 파일 (IPoIB 사용 시 기본값) (설정필요없음)
- IPoIB : IP 네트워크 에뮬레이션 레이어 (* Default)
- SRP : SCSI Request Protocol
- SRPT : STR Target mode
- ISER : low-level iSCSI layer
- RDS : Reliable Datagram Service (Not support in RHEL7)
memlock 수정
* soft memlock unlimited * hard memlock unlimited
opensm (마스터 서버만 설정)
[user@host]# systemctl enable opensm
node 확인 (Active LinkUP 상태이면 정상)
[user@host]# ibstat
CA 'mlx4_0'
CA type: MT4099
Number of ports: 2
Firmware version: 2.30.8000
Hardware version: 0
Node GUID: 0x0002c90300f81030
System image GUID: 0x0002c90300f81033
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 1
LMC: 0
SM lid: 1
Capability mask: 0x0251486a
Port GUID: 0x0002c90300f81031
Link layer: InfiniBand
Port 2:
State: Down
Physical state: Polling
Rate: 10
Base lid: 0
LMC: 0
SM lid: 0
Capability mask: 0x02514868
Port GUID: 0x0002c90300f81032
Link layer: InfiniBand
ibhosts 로 모든 노드 확인
- 연결된 모든 노드가 보이면 정상