Future Tech Blog フューチャー技術ブログ

表示テーマ

人気のタグ

タグ一覧へ

DataEngineering カテゴリ

記事一覧

全46本のうち 26 ～ 46 本目

Dataflow後編（Dataflowの事前準備からPub/Sub・BigQueryとの連携例まで）

Dataflowを使うための事前準備からパイプライン実行までの一連の流れについて説明します。次の手順で進めていきます。APIの有効化、IAMの設定、Apache Beam SDKのインストール...

Dataflow前編（Dataflowの概要からApache Beamの使い方まで）

フューチャーのインターンEngineer Campに参加した平野と申します。今回のインターンでは、Google Cloud Platform (GCP)のサービスとして提供されているDataflowについて調査し、その仕組みや使い方についてこの技術ブログにまとめることに取り組みました。

Cloud Functions+ GoでビッグデータETLするときのコツ

Google Cloud上の大規模なシステムのとあるログがCloud Storageに溜まっており、それらをBigQueryにロードし、分析したい、ということがありました。このログは未加工のままBigQueryに読み込めるフォーマットではなく、いわゆるETL処理が必要でした。運用面を考慮し利用サービスを増やしたくない、ということで使い慣れたCloud Functionsを使うことにしました。

Future Tech Night #21 Google Cloud：JSON関数と共に歩む、BigQueryを使った超汎化型データ活用基盤

3月17日に開催された「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」のセッションサマリと補足事項について触れていきます。当日のセッションは2つありましたが、私の記事では「JSON関数と共に歩む、BigQueryを使った超汎化型データ活用基盤」のセッションについて記載します。

AWS Glueの開発環境の構築(2022)

2021年の記事でもAWSの公式のDockerイメージを使って環境構築をする内容の記事があるのですが、Glue3.0の公式のDockerイメージがリリースされていたので、そちらを使って再度Glueのローカルでの開発環境構築の記事を書いてみようと思います。せっかくなので昨年の記事と少しコードを変えようと思い、AWSの公式ドキュメントに書かれたコードを基に解説します。

AWS Certified Data Analytics - Specialty合格体験記

先日AWS Certified Data Analytics - Specialtyに合格しました。これで持っているAWS認定資格は10個になりました。

【合格記】Google Cloud Professional Data Engineer認定資格を振り返る

先日Professional Data Engineer認定資格を取得しました。この記事ではその振り返りをします。新卒から3年半ほど機械学習モデリングを行っており、ここ半年はAWSでサーバーサイドの実装を主に担当しています。業務でGCPを扱ったことはありませんが、社内で「みんなで資格とっていきましょう！」のような機運があり、以前から機械学習とも関係があるデータエンジニアリングに興味があったため、今回Professional Data Engineer認定資格を受けることにしました。

AWS Glueで複雑な処理を開発するときのTips

PySparkを使用したGlueジョブ開発のお話をします。ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます！

AWS Glue Data CatalogでCSVを扱う

PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の３種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。

SQLのデータリネージツール、SQLLineageを試してみる

TIG DXユニット真野です。Python連載の2本目です。データリネージという概念に興味をもったのと、それをサポートするためのPytnon製ツールがあったので触ってみます。データリネージとは..

Looker を運営する組織を考察してみる

業務で GCP のインフラの設計/構築/運用を担当しております。私が感じている『GCP の特徴』というと、Gartner の Magic Quadrant などでも毎回紹介されているデータ分析領域だと思っています。今回はGoogle社が買収したLookerという技術の簡単な紹介とそして、それを使うとなった場合、何が必要になるか？という事を考察してみようと思います。

AWS Glueの開発環境の構築(2021)

Glueの環境構築は以前の記事（[AWS Glueの単体テスト環境の構築手順、AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました）にあるのですが、公式のDocker imageが案内されているので改めて、構築してみます。なお、Glueの公式イメージでもJupyter Notebookは利用できるのですが、使い勝手を考慮し、Jupyterlabに差し替えています。

DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する

DynamoDBを頻繁に利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。

GCPで構築するサーバーレスデータレイク①

GCPで構築するサーバーレスデータレイクの連載第1弾の記事となります。GCPでデータレイクを構築する場合のポイントについて連載形式でご紹介していければと思います。

Future Tech Night(第5弾：AWS＆DataPlatform MaaSビジネス編)を開催しました

先日2020/11/25にオンラインにてFuture Tech Nightという社外勉強会を開催しました。今回は第5弾としてAWS＆DataPlatform を活用した、MaaSビジネスの最新事例を紹介しました

GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる

突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceのソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジョブを作成できるようになりました。

AWS Glueの単体テスト環境の構築手順

当記事では、AWS Glue をローカル環境で単体テストするための環境構築方法についてまとめました。

AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました

AWS Glue利用していますか？ETL処理をする上で大変便利ですよね。しかしながら開発に必要不可欠な開発エンドポイントが少々お高く、もう少し安価に利用できればなーと思っていたところ、さすがAWSさん素敵なリリースをしてくれました。

AWS Datalake Hands-on(2019 May)メモ

あるプロジェクトでデータ分析基盤を開発することになり、データレイクを中心としたソリューションについて学ぶためにAWS Datalake Hands-onに参加してきました

5TB/日 のデータをAWS Glueでさばくためにやったこと（性能編）

大量データをさばくために、Glueの性能についてあれやこれややった検証結果の一部を公開します

5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編

業務で用いたAWS Glueの概要・開発Tips・ハマったところについて共有します