목록kubeflow (2)

TITEDIOS Dev Note

[MLOps] 10강 - 멀티노드(Multi-node)에서 Airflow 구축 (1) [Airflow Multi-Node System 구축 가이드 및 사례]

목차Multi-node Airflow ArchitectureMulti-node 환경 구축Multi-node에 맞게 docker-compose.yaml 수정결론Apache Airflow는 워크플로우 관리 및 스케줄링을 위한 오픈소스 툴로, 다양한 작업을 정의하고 실행할 수 있습니다. 기본적으로 Airflow는 단일 노드 환경에서도 동작하지만, 다수의 작업을 병렬로 처리하거나 대규모 환경에서 확장성을 확보하기 위해서는 멀티 노드(Multi-node) 아키텍처가 필요합니다. 이번 글에서는 Airflow의 Multi-node 아키텍처와 이를 구축하기 위한 방법, 그리고 docker-compose.yaml 파일을 Multi-node 환경에 맞게 수정하는 방법을 살펴보겠습니다.1. Multi-node Airflow..
MLOps 2025. 1. 17. 19:00
[MLOps] 9강 - 첫 Dag 작성하기 (Airflow Multi-Node System 구축 가이드 및 사례)

목차DAG 란?DAG 구조Dag Tutorial 작성하기Airflow에서 Dag 실행해 보기결론1. Dag 란?DAG(Directed Acyclic Graph)는 데이터를 처리하거나 워크플로우를 관리하기 위해 사용되는 중요한 개념으로, 방향성이 있고 사이클이 없는 그래프 구조를 의미합니다. 간단히 말해, DAG는 작업 간의 순서를 명확히 하고 종속성을 정의하는 데 사용됩니다. 이 구조는 작업의 병렬 실행과 순차 실행을 효과적으로 관리할 수 있게 해 줍니다.DAG의 특성은 다음과 같습니다:방향성(Directed): 작업 간의 의존 관계는 방향을 가지고 있습니다.비순환성(Acyclic): 순환 구조가 없어 작업이 무한히 반복되지 않습니다.DAG는 주로 데이터 엔지니어링, 머신러닝 파이프라인, ETL(Extr..
MLOps 2025. 1. 14. 19:00
이전 Prev 1 Next 다음