Future Tech Blog フューチャー技術ブログ

表示テーマ

人気のタグ

タグ一覧へ

DataEngineering カテゴリ

データを集めて流し、活用できる形に整える基盤を扱います。

よく読まれている記事

よく使われるタグ

新着記事

全46本

AI時代のデータガバナンスを再考

AIエージェント導入を見据えたデータガバナンスの論点を3つに絞って再考します。構造化データと非構造データのどちらから整備するか、AIに使わせる側の統制、権限をどう広げるかを扱います。

データガバナンス設計ガイドラインを公開しました

フューチャーが公開しているアーキテクチャガイドライン群に、データガバナンス設計ガイドラインを追加公開しました。

仕組みからわかる dbt Slim CI — GitHub Actions × Google Cloud Storage で実現する差分実行

dbt の CI を効率化する Slim CI を、dbt Core + BigQuery + GitHub Actions + Google Cloud Storage（以下 GCS） の構成で、どうやって実現するのかを解説します。

S3 TablesのIceberg形式で、timestamptz型の登録に苦戦した話

S3 Tablesという型があります。今回、このtimestamptz型でカラムを登録しようとしたとき、いろいろ面白い発見があったので、記事にしたいと思います。

Workspace Events API でGWSフォルダの変更をリアルタイム検知し、スプレッドシートを BigQuery に自動取り込みする

Google Drive の共有フォルダにあるスプレッドシートが更新されたら、自動的にテーブルとしてBigQueryに取り込みたい。このような仕組みを作りたいと思うことは誰にでもあると思います。従来は Google Drive API の changes.watch を使った Webhook ベースの方法が一般的でしたが...

S3 Tables×AWS Glueで作る次世代データ分析基盤

モダンなデータ分析基盤のベストプラクティスについて、S3 Tabalesの活用事例とともに紹介いたします。

データマネジメント設計ガイドラインを公開しました

フューチャー社内の有志のメンバーでデータマネジメント設計ガイドラインを作成しました。

AI-ReadyのためのAI駆動のデータモデリング

多くの企業がAI活用を模索する一方で、「AIに何を食べさせればよいか分からない」「データが散在・サイロ化していて使えない」といった課題に直面しています。フューチャー恒例の秋のブログ週間を機に、今回はAI（特にGEMINI-CLI）を利用して、どのようにAIと協働してデータモデリングできるか、直近のデータモデリングのトレンドを調べました。

Rustベースのdbt fusion engineを使ってみた！

dbtは、データエンジニアリングの現場に革新をもたらしましたが、プロジェクトが大規模になるにつれて、いくつかの課題も浮き彫りになってきました。その課題を解決するために開発された次世代のエンジン「dbt Fusion Engine」について...

はじめてGlue Python Shell Jobを使う時のつまづきポイント集

業務でGlue Python Shell Job（以降、Python Shell）を利用する機会があったのですが、「Lambdaとかだと簡単にできるのに、Python Shellだとできないんか～」とか、ドキュメント上でPySparkジョブ or Python Shellのどちらについて記載しているのか分かりにくかったりと...

PDFをBigqueryにぶっこんで効率よく構造化する

Google Agent Development KitやLangChainエコシステムを触る機会が増える中で、多くの企業や研究機関、政府機関が、契約書、報告書、マニュアル、論文、請求書などの重要な情報をPDF形式で保存・配布していることに改めて注目しています。これらの膨大な情報源から、LLM（大規模言語モデル）が直接情報にアクセスし、理解できるようになることは、実用的なAIソリューションを構築する上で不可欠だと考えています。

ローカルKubernetesでdbtをコンテナ化して実行してみる

データ変換ツール「dbt（data build tool）」をDockerコンテナ化し、Kubernetes上で実行する手順を紹介します。

組織のデータを＜コモンズ＞として管理してみてはどうだろうか？

私が近年興味を抱き独学を進めている分野がデジタルアーカイブやレコードキーピングで、これらの知見をデータマネジメントの分野に活かすことはできないか模索しはじめました。

初めてのAmazon SageMaker Unified Studio

カタログ管理やデータ活用を行うツールとしてAmazon SageMaker Unified Studioを調査・検証したので触ってみた所感やポイントなどつらつらとこの記事に書いていこうと思います。

初めてのMicrosoft Purview統合カタログ

データカタログを調査することになり、その一つとしてMicrosoft Purviewについて調査を行いました。その際に前もって知っていれば理解が早かったなと思ったことや触ってみて気になった箇所をまとめておきます。

dbt Core × BigQueryを使ったデータ変換をやってみた

データ分析基盤の構築や運用において注目を集めているdbt の入門記事です。dbtを活用して、データ変換の一連の手順を示すことで、これからdbtを試してみようと考えている方の導入を支援できれば幸いです。。

はじめてのStreamlit with Google Cloud

Streamlitは、Pythonを使って簡単にインタラクティブなWebアプリケーションとして共有できるライブラリで多くの採用実績があり、Snowflakeが買収したため今後の発展も期待できます。本記事では、Google CloudのVertex AI Workbenchを活用してStreamlitアプリを開発し、Google Cloud Runにデプロイするまでの手順を詳しく解説します。

区分値設計 再考

システムにおける「区分」とはカテゴライズ可能な値の集合体を表すものであり、「区分値」とはその集合に属する個々の識別子を指します。たとえば、あるアイテムの「ステータス」という区分には「下書き」「レビュー中」「承認済み」といった区分値が含まれます。

データカタログを中心とした自律分散組織

データカタログは、自律分散組織を円滑に進める上で重要な役割を果たします。データカタログ整備を含めたデータマネジメントを専門組織に任せるブームが過去に一時期的にありましたが、この体制があくまで過渡期であり...

リリース直前にライブラリのインストールエラーが発生した際にどのように対応したか - Glue Python Shell起動エラーの対応

先日、本番リリースを控えたシステムで OSS ライブラリのインストール起因のエラーが発生しました。実際に起きた事象と、どのように検討して対応したのかを残すべく、ポストモーテムの形式で当記事を書きました。

タグを利用したBigQueryのアクセス制御

BigQueryは完全マネージドな、ペタバイトスケールかつコスパのよいデータウェアハウスとして知られております。便利なツールである一方、BigQueryで取り扱うデータには個人情報が含まれていることもあり、適切なアクセス制御が望まれます。Resource Managerのタグ機能を利用して…

【合格記】Google Cloud Professional Data Engineer認定資格を振り返る【2023年度版】

最近Data Engineeringを扱うプロジェクトへ異動したこともあり、Google CloudにおけるData Engineeringを網羅的に学びたく、Professional Data Engineer認定資格を受けてきました。

Great ExpectationsでBigQueryのデータ品質を監視する

Great Expectationsというツールを使って、表形式データの品質をバリデーションする流れをご紹介します。MLOpsを推進するにあたりMLモデルの監視が必要となってきています。その中でも...

書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス)

最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。

Cloud Data Fusionで始めるETL入門

「Cloud Data Fusionで始めるETL入門」ということで、Google CloudでETL/ELTを構築できる「Cloud Data Fusion」を利用して、ETLを作成します。