Skip to content

Latest commit

 

History

History
39 lines (23 loc) · 1.13 KB

File metadata and controls

39 lines (23 loc) · 1.13 KB

Workflow Overview

  • Workflow 시스템의 개념, 주요 기능, 아키텍처 개요

주요 기능

UDF 관리

  • 사용자가 Python 기반 UDF 를 정의 및 업로드 간으
  • UDF 의 입력/출력 값을 정의하여 일관된 데이터 흐름 유지

DAG 구성

  • UI 에서 Drag & Drop 방식으로 DAG 구성 가능

DAG 실행 및 모니터링

  • DAG 를 즉시 시행 하거나 스케쥴에 따른 실행 가능
  • 실행 중 Task 의 상태 실시간 모니터링
  • 실행 결과 및 로그 조회 기능 제공

API 지원

  • DAG 및 Task 관리를 위한 RESTful API 제공

시스템 구성도

Architecture

기대 효과

  • 작업 자동화 : 반복적인 데이터 처리 작업을 DAG 기반으로 쉽게 자동화
  • 유연한 확장성 : 다양한 UDF 를 추가하여 새로운 기능 확장 가능
  • 실시간 모니터링 : task 실행 현황 및 로그를 UI 에서 확인 가능

향후 확장 가능성

  • 멀티 실행 엔진 지원: Airflow 뿐만 아니라 Kubeflow 등과 연계 가능
  • UDF 실행 환경 격리: Docker 컨테이너 기반 실행 환경 제공