Instalasi Airflow Dengan Docker

Figo Nugroho

Setelah memahami tentang Apache Airflow dalam artikel sebelumnya, sekarang kita akan melakukan instalasi Airflow di dalam sistem lokal atau pada komputer masing-masing. Oleh karena itu, ada beberapa hal yang perlu dipersiapkan agar kita dapat menggunakan Airflow dengan lancar. Karena terdapat banyak cara untuk menginstal Airflow, baik di server Linux atau Debian maupun di sistem lokal seperti Windows atau komputer, kita akan lebih fokus pada instalasi di perangkat masing-masing dengan menggunakan Docker dan Visual Studio Code (VSC).

Logo Docker

Docker

Docker Engine adalah platform untuk mengotomatiskan penerapan aplikasi menggunakan container. Komponen utamanya mencakup Docker Daemon (mengelola container), Docker Client (alat interaksi), dan image Docker (paket mandiri dengan runtime, kode, dan dependensi). Docker menyederhanakan penerapan di berbagai lingkungan, dan alat tambahan seperti Docker Compose dan Swarm memungkinkan manajemen dan pengelompokan aplikasi multi-kontainer.

Di Docker, container adalah portable and lightweight package yang mencakup semua komponen yang diperlukan untuk menjalankan aplikasi, memastikan konsistensi di berbagai lingkungan. Kontainer diisolasi, efisien, dan dibuat dari image Docker, berfungsi sebagai self-contained units untuk kemudahan penerapan dan eksekusi. Mereka mempromosikan portabilitas, efisiensi, dan konsistensi dalam pengembangan dan penerapan software.

Untuk Instalasi Docker Anda dapat mengklik tautan di bawah:



 

visual studio code

Visual Studio Code (VS Code) adalah editor kode sumber gratis buatan Microsoft yang ringan, mendukung banyak bahasa pemrograman, dan memiliki fitur cerdas seperti integrasi Git, debugger, dan terminal terintegrasi. Dengan dukungan ekstensi yang luas, VS Code memberikan pengalaman penulisan kode yang kuat dan dapat disesuaikan. Kita akan memerlukan VSC karena nantinya kita akan membuat file python untuk membuat Dags nantinya yang akan berisi script untuk berjalannya proses airflow nantinya.

Untuk Instalasi Visual Studio Code  Anda dapat mengklik tautan di bawah:



 

Installasi Apache Airflow Di Docker

  1. Buat folder dengan nama apapun misalnya Materials di dalam directory manapun misalnya di document ataupun di local disk
  2. Di dalam folder ini download download file ini dari website airflow: https://airflow.apache.org/docs/apache-airflow/2.7.3/docker-compose.yaml   Atau versi lebih tua seperti 2.5.2
  3. Klik kanan dan kemudian save dengan nama docker-compose.yaml.txt.lalu hilangkan format .txt dan simpan menjadi docker-compose.yaml
  4. Buka terminal atau cmd lalu masuk ke  Documents/Materials atau ke lokasi tempat docker-compose.yaml di simpan
  5. Buka Visual Studio Code dengan mengetik command: code .
  6. Nantinya akan terbuka seperti ini:

7. Klik kanan di dalam VSC dibawah file docker-compose dan buatlah file baru bernama .env 

8. Di dalamnya ketik atau masukan ini (airflow image bisa lihat di dokumentasi Airflow untuk versi lainnya):

    1. AIRFLOW_IMAGE_NAME=apache/airflow:2.7.3
    1. AIRFLOW_UID=50000

9. Lalu save filenya

10. Buka terminal di VSC di bagian atas bar kiri

11. Dalam teriminal ketik docker-compose up -d lalu enter

12. Tunggu docker download semua file yang diperlukan untuk instalasi Airflow:

Setelah selesai bisa di test dengan buka alamat berikut di search engine seperti chrome:localhost:8080 dan cek apakah sudah jalan atau belum Airflownya.

Share this article

Photo of author

About the author

Figo Nugroho