TITEDIOS Dev Note

목차virtualbox 가상머신에서 shared folder 설정Airflow container 실행Airflow 실행 확인결론이번 포스팅에서는 VirtualBox 가상머신에서 Shared Folder를 설정하고, Airflow 컨테이너를 실행한 뒤 Tutorial DAG를 복사 및 실행하는 과정을 다룹니다. 이 가이드는 VirtualBox에서 데이터 워크플로우 자동화를 테스트 해보기 위한 실용적인 가이드입니다.1. VirtualBox 가상머신에서 Shared Folder 설정1.1 Shared Folder 설정VirtualBox를 열고 가상머신을 선택한 후, Settings(설정)으로 이동합니다(가상 머신이 종료된 상태에서 진행해야 합니다). Shared Folders 탭을 클릭하고, Add Folde..

목차Multi-node Airflow ArchitectureMulti-node 환경 구축Multi-node에 맞게 docker-compose.yaml 수정결론Apache Airflow는 워크플로우 관리 및 스케줄링을 위한 오픈소스 툴로, 다양한 작업을 정의하고 실행할 수 있습니다. 기본적으로 Airflow는 단일 노드 환경에서도 동작하지만, 다수의 작업을 병렬로 처리하거나 대규모 환경에서 확장성을 확보하기 위해서는 멀티 노드(Multi-node) 아키텍처가 필요합니다. 이번 글에서는 Airflow의 Multi-node 아키텍처와 이를 구축하기 위한 방법, 그리고 docker-compose.yaml 파일을 Multi-node 환경에 맞게 수정하는 방법을 살펴보겠습니다.1. Multi-node Airflow..

목차DAG 란?DAG 구조Dag Tutorial 작성하기Airflow에서 Dag 실행해 보기결론1. Dag 란?DAG(Directed Acyclic Graph)는 데이터를 처리하거나 워크플로우를 관리하기 위해 사용되는 중요한 개념으로, 방향성이 있고 사이클이 없는 그래프 구조를 의미합니다. 간단히 말해, DAG는 작업 간의 순서를 명확히 하고 종속성을 정의하는 데 사용됩니다. 이 구조는 작업의 병렬 실행과 순차 실행을 효과적으로 관리할 수 있게 해 줍니다.DAG의 특성은 다음과 같습니다:방향성(Directed): 작업 간의 의존 관계는 방향을 가지고 있습니다.비순환성(Acyclic): 순환 구조가 없어 작업이 무한히 반복되지 않습니다.DAG는 주로 데이터 엔지니어링, 머신러닝 파이프라인, ETL(Extr..

목차Docker Compose로 Airflow 실행해 보기Airflow tutorial 확인해 보기Airflow architecture결론Apache Airflow는 워크플로우를 작성, 스케줄링, 모니터링할 수 있는 도구로, 데이터 파이프라인 자동화에 널리 사용됩니다. 이번 글에서는 Docker Compose를 이용하여 Airflow를 실행해 보고, 기본 튜토리얼과 아키텍처를 살펴본 후 결론을 정리하겠습니다.1. Docker Compose로 Airflow 실행하기Airflow를 손쉽게 실행하려면 Docker Compose를 사용하는 방법이 유용합니다. 공식적으로 제공되는 docker-compose.yaml 파일을 사용하면 다양한 컴포넌트를 간단히 구성할 수 있습니다. 지난 글까지 Docker를 설치하고 ..

목차전원 설정 및 virtualbox shared folder 생성docker compose 개요docker-compose.yaml 톺아보기결론안녕하세요! 이번 포스팅에서는 VirtualBox와 Docker Compose를 활용한 개발 환경 설정 방법에 대해 알아보려고 합니다.개발자라면 한 번쯤 겪어봤을 환경 설정의 복잡함, 그리고 이를 간소화할 수 있는 도구들을 소개해 드리겠습니다. 먼저, VirtualBox를 통해 가상화 환경을 구축하고, 공유 폴더를 설정하는 방법을 설명합니다. 그다음, Docker Compose를 사용하여 컨테이너를 손쉽게 관리하는 방법을 개괄적으로 알아보고, docker-compose.yaml 파일을 통해 실제로 어떻게 구성 요소들을 정의하고 활용할 수 있는지도 살펴볼 예정입니다..

목차Docker 설치Docker 설치 후 과정Airflow Multi-node를 위한 docker-compose.yaml 작성결론Multi-node 환경에서 Airflow를 설정하면 작업 부하를 분산하고 시스템 성능을 향상할 수 있습니다. MLOps 시스템을 만들기 위한 우리의 목적이기도 합니다. 이번 포스팅에서는 Docker를 활용하여 Airflow를 Multi-node로 구성하는 과정을 단계별로 설명하겠습니다.1. Docker 설치설치 전 virtualbox 가상머신에 한가지 설정이 필요합니다. 아래 그림처럼 설정하여 복사-붙여넣기 기능을 이용할 수 있도록 합니다. 하셔야.... 편합니다. 아니라면 한 땀 한 땀 작성을 해야 하기 때문입니다....Docker 설치는 공식 문서를 참조하였습니다. Ins..

목차1. 네트워크 생성2. 가상 머신 복제3. 고정 IP 할당4. 연결 상태 확인5. 결론 이번 포스팅에서는 이전에 생성했던 가상머신을 복제하여 2개의 워커 노드를 추가로 만들고, 각 노드에 고정 IP를 할당하는 과정을 다룹니다. 이는 다중 노드 환경에서 Apache Airflow와 같은 분산 시스템을 실행하기 위해 필수적인 작업입니다. 이제 시작해 보겠습니다.1. 네트워크 생성가장 먼저 VirtualBox의 NAT Network를 생성하여 가상머신 간 통신이 가능하도록 네트워크를 구성합니다.VirtualBox 상단 메뉴에서 도구 > 네트워크를 클릭합니다.NAT Networks 탭에서 새 네트워크를 생성합니다.네트워크 이름과 IP 주소 대역(예: 10.0.2.0/24)을 설정합니다.생성된 NAT Netw..

목차Rocky Linux 9란?사전 준비 사항Rocky Linux 9 설치하기게스트 이미지 설치초기 설정 및 기본 관리Rocky Linux 9 활용 팁결론Rocky Linux는 CentOS 대안으로, 안정적이고 신뢰할 수 있는 오픈 소스 운영 체제입니다. 특히 서버 환경에 최적화되어 있어 가상머신 환경에서 다양한 용도로 활용할 수 있습니다. 이 글에서는 가상머신(VM)에 Rocky 9을 설치하는 과정을 상세히 설명합니다. 한 단계 한 단계씩 잘 따라와 보시면 좋겠습니다.1. Rocky Linux 9란?  Rocky Linux 9.0 Available Now - Rocky LinuxWe are pleased to announce the general availability of Rocky Linux 9.0..