[MLOps] 5강 - 가상머신 클러스터 구축하기 (Airflow Multi-Node System 구축 가이드 및 사례)
목차
1. 네트워크 생성
2. 가상 머신 복제
3. 고정 IP 할당
4. 연결 상태 확인
5. 결론
이번 포스팅에서는 이전에 생성했던 가상머신을 복제하여 2개의 워커 노드를 추가로 만들고, 각 노드에 고정 IP를 할당하는 과정을 다룹니다. 이는 다중 노드 환경에서 Apache Airflow와 같은 분산 시스템을 실행하기 위해 필수적인 작업입니다. 이제 시작해 보겠습니다.
1. 네트워크 생성
가장 먼저 VirtualBox의 NAT Network를 생성하여 가상머신 간 통신이 가능하도록 네트워크를 구성합니다.
VirtualBox 상단 메뉴에서 도구 > 네트워크를 클릭합니다.
NAT Networks 탭에서 새 네트워크를 생성합니다.
네트워크 이름과 IP 주소 대역(예: 10.0.2.0/24)을 설정합니다.
생성된 NAT Network는 이후 모든 가상머신이 공유하게 될 네트워크로, 클러스터 간 통신의 기반이 됩니다.
2. 가상 머신 복제
기존에 만들어둔 가상머신을 복제하여 2개의 워커 노드를 생성합니다.
1) 네트워크 설정:
복제할 마스터 가상머신의 설정 > 네트워크에서 Adapter 1을 NAT Network로 설정합니다.
설정 저장 후 네트워크를 한 번 비활성화했다가 다시 활성화하여 확실히 적용합니다.
2) 가상머신 복제:
마스터 가상머신을 우클릭하고 복제(Clone)를 선택합니다.
복제 설정에서:
- 이름: worker1, worker2로 지정
- MAC 주소 정책: 새로 생성 선택
- 복제 유형: 전체 복제
을 선택합니다.
복제가 완료되면 두 개의 워커 노드(worker1, worker2)가 생성됩니다.
3. 고정 IP 할당
복제한 가상머신들은 동일한 네트워크 구성과 IP를 가질 가능성이 높으므로, 각각의 노드에 고유한 고정 IP를 할당해야 합니다.
1) 가상머신 실행:
마스터와 두 개의 워커 노드를 모두 실행합니다.
2) 네트워크 설정 변경:
우리가 설정할 IP의 기본정보 입니다. 아래와 같이 설정을 할 것인데요. 각각의 노드에 '주소'에 해당하는 부분만 변경할 것입니다.
각 가상머신의 네트워크 설정에서 IP를 수동으로 지정합니다.
IPv4 탭에서 자동(DHCP)를 수동(Manual)로 변경합니다.
원하는 IP를 설정:
- master: 10.0.2.100
- worker1: 10.0.2.101
- worker2: 10.0.2.102
변경 후 네트워크를 재시작하여 적용합니다.
3) IP 확인:
각 노드에서 다음 명령으로 IP가 제대로 설정되었는지 확인합니다. 쉘에서 ifconfig 명령어를 수행하면 확인할 수 있습니다.
4. 연결 상태 확인
각 노드 간 통신이 가능한지 확인하는 작업은 클러스터 구성의 핵심입니다.
1) 인터넷 연결 확인:
- 각 노드에서 다음 명령을 실행합니다:
ping 8.8.8.8
외부 인터넷과 연결이 되어야 네트워크가 올바르게 설정된 것입니다.
2) 노드 간 연결 확인:
- 각 노드에서 다른 노드로의 통신을 확인합니다:
ping 10.0.2.100
ping 10.0.2.101
ping 10.0.2.102
모든 노드 간 ping이 정상적으로 작동하면 네트워크 설정이 완료된 것입니다.
결론
이번 실습에서는 VirtualBox를 이용해 가상머신 클러스터를 구축하는 과정에서 NAT Network 생성, 가상머신 복제, 고정 IP 할당, 노드 간 연결 확인의 단계를 수행했습니다. 이 과정을 통해 다중 노드 환경의 기초를 마련할 수 있었습니다.
다중 노드 설정은 Apache Airflow 뿐만 아니라 Kubernetes와 같은 분산 시스템을 로컬에서 학습하거나 테스트할 때 유용합니다. 앞으로 다른 클러스터 환경에 대한 실습이 필요할 경우도 참조하시면 좋겠습니다.
팁: 작업 도중 문제가 발생할 경우 VirtualBox의 스냅샷 기능을 활용해 이전 상태로 복구할 수 있도록 대비하는 것이 좋습니다.
궁금한 점이나 추가로 알고 싶은 내용이 있다면 댓글로 알려주세요!
도움이 되셨다면 공감 부탁드리겠습니다. 여러분의 공감이 정말 큰 힘이 됩니다.
감사합니다!