Airbnb에서 만든 Workflow 관리 오픈소스 소프트웨어입니다. 많은 기업에서 데이터 파이프라인 운용에 인기 있게 사용되고 있습니다. DAGs(Directed Acyclic Graphs) 형태로 Workflow 수행합니다. 사전 준비사항 MySQL 설치 Re...

Amazon Athena & S3 S3(Simple Storage Service)로 AWS를 대표하는 클라우드 서비스입니다. 객체 스토리지 (Object Storage)라는 형태의 서비스로 스토리지를 추상화한 형태로써 사용자는 데이터가 어느 블럭에 저장되는지 알 필요 ...

** Google Vertex AI 간단한 소개 ** Google Cloud의 AI Platform, AutoML 등 다양한 머신러닝 서비스를 하나의 인터페이스(UI / API)에서 사용할 수 있도록 구성된 종합선물 과자세트 같은 서비스입니다. 데이터셋 구성부터 모델 생성,...

Vagrant 간단한 소개 단일 워크플로에서 가상 머신 환경을 구축하고 관리하기 위한 도구입니다. 현재는 HashiCorp에서 관리하고 있으며, 포터블한 가상화 개발 환경 관리 도구입니다. VirutalBox, VMWare, Docker 등과 연동하여 인스턴스를 관리할 수...

Kubeflow 간단한 소개 머신러닝 워크플로우를 Kubernetes에서 손쉽게 이식하고 확장 가능하게 배포 및 운영을 목적으로 시작된 프로젝트입니다. Google 내부에서 서비스에 사용하기 위해 개발된 서비스가 오픈소스 프로젝트로 릴리즈되어 시작하게 되었습니다. 국내는...