Airflow タグ

フューチャー社内の有志メンバーでバッチ設計ガイドラインを作成し、公開しました。本記事ではガイドラインの作成の経緯や想いなどを簡単に紹介します。

Apache Airflowはワークフロー管理サービスで、スケジュールされた時間に一連の処理を行ってくれる便利なサービスです。

AWS 上でのワークフロー構築のため、Step Functions を直近で導入しました。

「Airflow Breeze を使ったローカル環境構築」について発表してきました。当ブログでの Airflow 関連の記事を見ていただき、お声がけいただいたということで、大変嬉しく思うとともに、色々ブログ記事書いてきて良かったなと思っています。

OSS として Airflow へ貢献するにあたり、ローカルでの実行やテストの環境整備が必要になります。また、 Airflow を利用するにあたってもローカルでの動作確認をしたいケースは多いかと思います。Airflow では、 Airflow Breeze と呼ばれる環境が整備され、公式より提供されています。当記事では、 Airflow Breeze について概要を記載し、 Airflow への OSS 貢献の入り口となれば良いと考えています。

AWS マネージド Airflow が 2020/11/24 にリリースされました。 [Introducing Amazon Managed Workflows for Apache Airflow サービスを利用するにあたって知りたかったことを調査し、FAQ ベースで整理しましたので公開します。

Airflowの SLA 設定方法を紹介します。sla_miss_callback 関数は以下の引数が必要