Future Tech Blog
フューチャー技術ブログ

DataEngineering カテゴリの記事

39記事中の 26 ～ 39 を表示

AWS Glueで複雑な処理を開発するときのTips

PySparkを使用したGlueジョブ開発のお話をします。ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます！

AWS Glue Data CatalogでCSVを扱う

PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の３種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。

SQLのデータリネージツール、SQLLineageを試してみる

TIG DXユニット真野です。Python連載の2本目です。データリネージという概念に興味をもったのと、それをサポートするためのPytnon製ツールがあったので触ってみます。データリネージとは..

Looker を運営する組織を考察してみる

フューチャー夏休みの自由研究連載2021の9回目です。業務で `GCP` のインフラの設計/構築/運用を担当しております。私が感じている『GCP の特徴』というと、Gartner の Magic Quadrant などでも毎回紹介されているデータ分析領域だと思っています。今回はGoogle社が買収したLookerという技術の簡単な紹介とそして、それを使うとなった場合、何が必要になるか？という事を考察してみようと思います。

AWS Glueの開発環境の構築(2021)

Glueの環境構築は以前の記事（[AWS Glueの単体テスト環境の構築手順、AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました）にあるのですが、公式のDocker imageが案内されているので改めて、構築してみます。なお、Glueの公式イメージでもJupyter Notebookは利用できるのですが、使い勝手を考慮し、Jupyterlabに差し替えています。

DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する

DynamoDBを頻繁に利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。

GCPで構築するサーバーレスデータレイク①

GCPで構築するサーバーレスデータレイクの連載第1弾の記事となります。GCPでデータレイクを構築する場合のポイントについて連載形式でご紹介していければと思います。

Future Tech Night(第5弾：AWS＆DataPlatform MaaSビジネス編)を開催しました

こんにちは、TIGの山田、町田、多賀です。先日2020/11/25にオンラインにてFuture Tech Nightという社外勉強会を開催しました。今回は第5弾としてAWS＆DataPlatform を活用した、MaaSビジネスの最新事例を紹介しました

GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる

突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービス[DataTransferService](https://cloud.google.com/bigquery/transfer/)のソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジョブを作成できるようになりました。まだ、ベータ版でのリリースのみですが今回は実際にS3からのデータ転送を試してみましょう。

AWS Glueの単体テスト環境の構築手順

当記事では、AWS Glue をローカル環境で単体テストするための環境構築方法についてまとめました。

AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました

AWS Glue利用していますか？ETL処理をする上で大変便利ですよね。しかしながら開発に必要不可欠な開発エンドポイントが少々お高く、もう少し安価に利用できればなーと思っていたところ、さすがAWSさん素敵なリリースをしてくれました。

AWS Datalake Hands-on(2019 May)メモ

あるプロジェクトでデータ分析基盤を開発することになり、データレイクを中心としたソリューションについて学ぶためにAWS Datalake Hands-onに参加してきました

5TB/日 のデータをAWS Glueでさばくためにやったこと（性能編）

大量データをさばくために、Glueの性能についてあれやこれややった検証結果の一部を公開します

5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編

業務で用いたAWS Glueの概要・開発Tips・ハマったところについて共有します