Future Tech Blog
フューチャー技術ブログ

DataEngineering カテゴリの記事

  • 42
    投稿
  • 29
    著者数
  • 695
    総シェア数
  • 83
    Twitter
  • 0
    Facebook
  • 331
    はてブ
  • 281
    Pocket

仕組みからわかる dbt Slim CI — GitHub Actions × Google Cloud Storage で実現する差分実行

dbt の CI を効率化する Slim CI を、dbt Core + BigQuery + GitHub Actions + Google Cloud Storage（以下 GCS） の構成で、どうやって実現するのかを解説します。

Workspace Events API でGWSフォルダの変更をリアルタイム検知し、スプレッドシートを BigQuery に自動取り込みする

Google Drive の共有フォルダにあるスプレッドシートが更新されたら、自動的にテーブルとしてBigQueryに取り込みたい。このような仕組みを作りたいと思うことは誰にでもあると思います。従来は Google Drive API の `changes.watch` を使った Webhook ベースの方法が一般的でしたが...

S3 Tables×AWS Glueで作る次世代データ分析基盤

モダンなデータ分析基盤のベストプラクティスについて、S3 Tabalesの活用事例とともに紹介いたします。

AI-ReadyのためのAI駆動のデータモデリング

多くの企業がAI活用を模索する一方で、「AIに何を食べさせればよいか分からない」「データが散在・サイロ化していて使えない」といった課題に直面しています。フューチャー恒例の秋のブログ週間を機に、今回はAI（特にGEMINI-CLI）を利用して、どのようにAIと協働してデータモデリングできるか、直近のデータモデリングのトレンドを調べました。

Rustベースのdbt fusion engineを使ってみた！

dbtは、データエンジニアリングの現場に革新をもたらしましたが、プロジェクトが大規模になるにつれて、いくつかの課題も浮き彫りになってきました。その課題を解決するために開発された次世代のエンジン「dbt Fusion Engine」について...

はじめてGlue Python Shell Jobを使う時のつまづきポイント集

業務でGlue Python Shell Job（以降、Python Shell）を利用する機会があったのですが、「Lambdaとかだと簡単にできるのに、Python Shellだとできないんか～」とか、ドキュメント上でPySparkジョブ or Python Shellのどちらについて記載しているのか分かりにくかったりと...

ローカルKubernetesでdbtをコンテナ化して実行してみる

データ変換ツール「dbt（data build tool）」をDockerコンテナ化し、Kubernetes上で実行する手順を紹介します。

組織のデータを＜コモンズ＞として管理してみてはどうだろうか？

私が近年興味を抱き独学を進めている分野がデジタルアーカイブやレコードキーピングで、これらの知見をデータマネジメントの分野に活かすことはできないか模索しはじめました。

初めてのAmazon SageMaker Unified Studio

カタログ管理やデータ活用を行うツールとしてAmazon SageMaker Unified Studioの調査・検証を行ったので触ってみた所感やポイントなどつらつらとこの記事に書いていこうと思います。

初めてのMicrosoft Purview統合カタログ

データカタログを調査することになり、その一つとしてMicrosoft Purviewについて調査を行いました。その際に前もって知っていれば理解が早かったなと思ったことや触ってみて気になった箇所をまとめておきます。

dbt Core × BigQueryを使ったデータ変換をやってみた

データ分析基盤の構築や運用において注目を集めているdbt の入門記事です。dbtを活用して、データ変換の一連の手順を示すことで、これからdbtを試してみようと考えている方の導入を支援できれば幸いです。。

はじめてのStreamlit with Google Cloud

Streamlitは、Pythonを使って簡単にインタラクティブなWebアプリケーションとして共有できるライブラリで多くの採用実績があり、Snowflakeが買収したため今後の発展も期待できます。本記事では、Google CloudのVertex AI Workbenchを活用してStreamlitアプリを開発し、Google Cloud Runにデプロイするまでの手順を詳しく解説します。

Terraform × BigQuery データ管理：陥りがちな落とし穴と対策５選（サンプルコード付き）

Terraformは、インフラ構築をコードで管理できる強力なツールですが、BigQueryのデータ管理においては、特有の課題に直面することがあります。本記事では、TerraformでBigQueryを扱う際に陥りやすい落とし穴と、データ管理の品質を高めるための対策について、サンプルコードを交えながら解説します。

区分値設計 再考

システムにおける「区分」とはカテゴライズ可能な値の集合体を表すものであり、「区分値」とはその集合に属する個々の識別子を指します。たとえば、あるアイテムの「ステータス」という区分には「下書き」「レビュー中」「承認済み」といった区分値が含まれます。

データカタログを中心とした自律分散組織

データカタログは、自律分散組織を円滑に進める上で重要な役割を果たします。データカタログ整備を含めたデータマネジメントを専門組織に任せるブームが過去に一時期的にありましたが、この体制があくまで過渡期であり...

リリース直前にライブラリのインストールエラーが発生した際にどのように対応したか - Glue Python Shell起動エラーの対応

先日、本番リリースを控えたシステムで OSS ライブラリのインストール起因のエラーが発生しました。実際に起きた事象と、どのように検討して対応したのかを残すべく、ポストモーテムの形式で当記事を書きました。

タグを利用したBigQueryのアクセス制御

BigQueryは完全マネージドな、ペタバイトスケールかつコスパのよいデータウェアハウスとして知られております。便利なツールである一方、BigQueryで取り扱うデータには個人情報が含まれていることもあり、適切なアクセス制御が望まれます。Resource Managerのタグ機能を利用して…

【合格記】Google Cloud Professional Data Engineer認定資格を振り返る【2023年度版】

最近Data Engineeringを扱うプロジェクトへ異動したこともあり、Google CloudにおけるData Engineeringを網羅的に学びたく、Professional Data Engineer認定資格を受けてきました。

Great ExpectationsでBigQueryのデータ品質を監視する

Great Expectationsというツールを使って、表形式データの品質をバリデーションする流れをご紹介します。MLOpsを推進するにあたりMLモデルの監視が必要となってきています。その中でも...

書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス)

最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。

Cloud Data Fusionで始めるETL入門

「Cloud Data Fusionで始めるETL入門」ということで、Google CloudでETL/ELTを構築できる「Cloud Data Fusion」を利用して、ETLを作成します。

Dataflow後編（Dataflowの事前準備からPub/Sub・BigQueryとの連携例まで）

Dataflowを使うための事前準備からパイプライン実行までの一連の流れについて説明します。次の手順で進めていきます。APIの有効化、IAMの設定、Apache Beam SDKのインストール...

Dataflow前編（Dataflowの概要からApache Beamの使い方まで）

フューチャーのインターンEngineer Campに参加した平野と申します。今回のインターンでは、Google Cloud Platform (GCP)のサービスとして提供されているDataflowについて調査し、その仕組みや使い方についてこの技術ブログにまとめることに取り組みました。

Cloud Functions+ GoでビッグデータETLするときのコツ

Google Cloud上の大規模なシステムのとあるログがCloud Storageに溜まっており、それらをBigQueryにロードし、分析したい、ということがありました。このログは未加工のままBigQueryに読み込めるフォーマットではなく、いわゆるETL処理が必要でした。運用面を考慮し利用サービスを増やしたくない、ということで使い慣れたCloud Functionsを使うことにしました。

Future Tech Night #21 Google Cloud：JSON関数と共に歩む、BigQueryを使った超汎化型データ活用基盤

3月17日に開催された「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」のセッションサマリと補足事項について触れていきます。当日のセッションは2つありましたが、私の記事では「JSON関数と共に歩む、BigQueryを使った超汎化型データ活用基盤」のセッションについて記載します。