Future Tech Blog
フューチャー技術ブログ
Home
Tags
ETL
ETL
タグの記事
3
投稿
3
著者数
214
総シェア数
9
Twitter
32
Facebook
88
はてブ
85
Pocket
Cloud Functions+ GoでビッグデータETLするときのコツ
Google Cloud上の大規模なシステムのとあるログがCloud Storageに溜まっており、それらをBigQueryにロードし、分析したい、ということがありました。このログは未加工のままBigQueryに読み込めるフォーマットではなく、いわゆるETL処理が必要でした。運用面を考慮し利用サービスを増やしたくない、ということで使い慣れたCloud Functionsを使うことにしました。
2022.05.12
ETL
GCP
CloudFunctions
サーバーレス
8
シェア
1
Pocket
GCPで構築するサーバーレスデータレイク①
GCPで構築するサーバーレスデータレイクの連載第1弾の記事となります。GCPでデータレイクを構築する場合のポイントについて連載形式でご紹介していければと思います。
2021.02.24
データレイク
ETL
GCP
要件定義
設計
サーバーレス
BigQuery
ツイート
シェア
はてな
9
5TB/日 のデータをAWS Glueでさばくためにやったこと(概要編
業務で用いたAWS Glueの概要・開発Tips・ハマったところについて共有します
2018.08.28
AWS
データレイク
Glue
データエンジニアリング
ETL
1
32
87
76
1