Future Tech Blog
フューチャー技術ブログ

GCP タグの記事

  • 73
    投稿
  • 28
    著者数
  • 1777
    総シェア数
  • 245
    Twitter
  • 267
    Facebook
  • 568
    はてブ
  • 697
    Pocket

Cloud Data Fusionで始めるETL入門

本日の入門記事は「Cloud Data Fusionで始めるETL入門」ということで、Google CloudでETL/ELTを構築できる「Cloud Data Fusion」を利用して、ETLを作成します。

Terraformでの機密情報の取り扱い on Google Cloud

最近、Terraform内での機密情報の取り扱いについて触れることがあり、Terraformのv1.4のInteractive input for sensitive variables is now masked in the UI (#29520) についてのENHANCEMENTを取り上げつつ、Terraform環境上での機密情報の取り扱いについて..

JenkinsでのTerraform CI/CD

プロジェクトでJenikisを利用する機会があり、初めてJenkinsfileでTerraformのCI/CD環境を構築する機会があったので記事に残そうと思います。クラウドを使っているとAWSではCodeBuild、Google CloudではCloudBuildのサービスをCI/CD環境として利用するのでyamlでのCI/CDスクリプトには慣れていましたが...

Terraform 1.4 Update:Private Service Connectを利用したbackend/gcsへのアクセス

Terraform 1.4.0のENHANCEMENTSで以下の機能が追加されました。backend/gcs: Add storage_custom_endpoint argument, to allow communication with the backend via a Private Service Connect endpoint. 内容はtfstateが保存されているGCSへのアクセスがインターネット経由ではなく..

Google Cloudのしくみと技術がしっかりわかる教科書を読んだ感想

積読消化目的で参加させていただきました。図解即戦力 Google Cloudのしくみと技術がこれ1冊でしっかりわかる教科書を選んだ理由としては、CCoEメンバーに参加しGoogle Cloud に触れる機会があったのですが、いままではCloudというものに触れてこなかったため掴みたいと考えたからです

Vertex AI PipelinesのTips

Vertex AI Pipelinesを利用してみて分かったTipsについて、いくつかピックアップしてまとめました。なお、コードは全てPython・Kubeflowを用いた場合を記載しています。Vertex AI Pipelinesとは、GCP上でMLパイプライン機能を提供するサービスです。サーバーレス方式でMLワークフローをオーケストレートします。

CloudBuildを使ってプライベートエンドポイントのみのGKEへデプロイ

こんにちは！筋肉エンジニアの渡邉です。最近はGCP/GKEについて勉強しています。今回はGitHubへのPushをトリガーにCloudBuildを起動し、プライベートエンドポイントのみのGKEへデプロイする基盤を作りましたので、共有したいと思います。GCPリソースはTerraformで作成しています。

VPC Service ControlでGoogle Cloud環境をガッチリ守る

Google CloudのVPC Service Controlsを利用して、リソースへのアクセス制御を行う方法についてTerraformコード付きで紹介していきます。昨今では、個人情報漏洩のニュースが尽きません。少し古いデータではありますが...

GKEでIdentity-Aware Proxyを利用したWebアプリケーション認証

GKE を利用したWebアプリケーションのGoogleアカウント認証について記事を書きます。公式ドキュメントを引用します。IAP を使用すると、HTTPS によってアクセスされるアプリケーションの一元的な承認レイヤを確立できるため、ネットワーク レベルのファイアウォールに頼らずに、アプリケーション レベルのアクセス制御モデルを使用できます。

【合格記】Google Cloud Professional Machine Learning Engineer認定資格を振り返る

先日、Google Cloudの認定資格であるProfessional Machine Learning Engineer認定資格を受験し、取得することができました。また、今回はリモート試験にて受験をしてみました。この記事ではProfessional Machine Learning Engineer認定資格の合格に至った学習過程とリモート試験体験記について...

Dataflow後編（Dataflowの事前準備からPub/Sub・BigQueryとの連携例まで）

Dataflowを使うための事前準備からパイプライン実行までの一連の流れについて説明します。次の手順で進めていきます。APIの有効化、IAMの設定、Apache Beam SDKのインストール...

GoogleWorkspace SDKのAPIリクエスト間隔は気を付けましょう

Google Workspace Admin SDKのDirectory APIを使った開発を行いました。本記事では、APIを利用した際に500エラーを頻発させてしまった件について執筆していこうと思います。

Future Tech Night #21 Google Cloud Vertex AIによるフルマネージドなMLOps導入

「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」に登壇させていただきましたので、その内容について触れていきたいと思います。

Cloud Functions+ GoでビッグデータETLするときのコツ

Google Cloud上の大規模なシステムのとあるログがCloud Storageに溜まっており、それらをBigQueryにロードし、分析したい、ということがありました。このログは未加工のままBigQueryに読み込めるフォーマットではなく、いわゆるETL処理が必要でした。運用面を考慮し利用サービスを増やしたくない、ということで使い慣れたCloud Functionsを使うことにしました。

Future Tech Night #21 Google Cloud：JSON関数と共に歩む、BigQueryを使った超汎化型データ活用基盤

3月17日に開催された「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」のセッションサマリと補足事項について触れていきます。当日のセッションは2つありましたが、私の記事では「JSON関数と共に歩む、BigQueryを使った超汎化型データ活用基盤」のセッションについて記載します。

Google Cloud Professional Cloud Architectの再認定に合格しました

2022/2/4にGoogle CloudのProfessional Cloud Architectの再認定に合格したので、前回受験からの差分や受験にあたっての勉強について書いていきます。技術ブログでは以前に合格体験記をいくつか出しているので、そちらも是非みていただければと思います。有効期限が迫ってくると、メールで再認定を受ける旨が送られてきます。

TFLintを使ってみる（GCP×Terraform）

terraform validateやterraform planでは検知できないエラーを見つけるために、TFLintを利用してみました。例えば、インスタンスタイプの誤りや命名規約違反を検知できます。本記事では、インストールから利用方法までを記載しています。

Google Drive API v3をサービスアカウトとGoから利用

Google DriveにアップロードされたExcelファイルを利用したちょっとしたジョブを実装する機会があり、処理を動かしたいのがAWSなど別のプラットフォームであったため、サービスアカウントを用いてGoogle Drive APIにアクセスするGoプログラムを作りました。

トップゲート×フューチャー LT大会登壇レポート

この度縁あって、2021年9月14日に株式会社トップゲート様とフューチャーで共同開催された、GCPをテーマにしたLT大会に登壇しました。簡単にLT大会の内容や、登壇した感想をまとめてみたいと思います。トップゲート様が定期開催している初心者向け勉強会である、Beginner's Labにフューチャーも参加させていただく形で今回のLT大会は開催されました。

【合格記】Google Cloud Professional Data Engineer認定資格を振り返る

TIGの玉木です。先日Professional Data Engineer認定資格を取得しました。この記事ではその振り返りをします。新卒から3年半ほど機械学習モデリングを行っており、ここ半年はAWSでサーバーサイドの実装を主に担当しています。業務でGCPを扱ったことはありませんが、社内で「みんなで資格とっていきましょう！」のような機運があり、以前から機械学習とも関係があるデータエンジニアリングに興味があったため、今回Professional Data Engineer認定資格を受けることにしました。

Nyle × FUTURE で勉強会を開催しました

こんにちは。TIGの棚井龍之介です。2021年9月10日 のエンジニアで集まり、合同での勉強会を開催しました。フューチャーからはインフラ担当1名と+アプリ担当2名が登壇して、クラウドサービスの紹介やクラウドでのしくじり話などを発表しました。ナイルさん側の発表内容もクラウド寄りのものが多く、期せずして「クラウド勉強会」のような雰囲気になりました。

Future Tech Night #15 ~GCPのサーバーレスサービスを利用したWebアプリの開発~

Future Tech Night #15への登壇レポートと、内容についての解説です。

Looker を運営する組織を考察してみる

フューチャー夏休みの自由研究連載2021の9回目です。業務で `GCP` のインフラの設計/構築/運用を担当しております。私が感じている『GCP の特徴』というと、Gartner の Magic Quadrant などでも毎回紹介されているデータ分析領域だと思っています。今回はGoogle社が買収したLookerという技術の簡単な紹介とそして、それを使うとなった場合、何が必要になるか？という事を考察してみようと思います。

GCP Associate Cloud Engineer 合格記

初めまして。TIG所属の鈴木です。今回GCP認定資格のAssociate Cloud Engineerという資格を取得したので、その体験をブログにします。私は2020年10月に新卒入社し、GCPを使用した案件に携わってます。プログラミングなどIT経験はあったのですが、GCPをはじめとしたクラウド技術やインフラにあまり馴染みがなく、体系的に知識を習得する目的でこの資格を取得しました。

Cloud Spannerのローカル開発環境をdocker-composeでサクッと立ち上げる

Cloud Spannerのローカル開発環境をdocker-composeでサクッと立ち上げる手順を紹介します。Cloud Spannerを用いた開発を行う方、また興味あるから少し触ってみたいという方にもおすすめです。簡単にCloud Spanner について紹介させていただきます。