Future Tech Blog
フューチャー技術ブログ

S3 タグの記事

  • 9
    投稿
  • 8
    著者数
  • 159
    総シェア数
  • 47
    Twitter
  • 0
    Facebook
  • 54
    はてブ
  • 58
    Pocket

S3 on LocalStackをGoとFUSEを使ってMountする（WSL2）

夏休み自由研究連載の5本目です。go-fuse でLocalStackでローカル環境にエミュレートされるS3バケットをマウントするツールを開発しました。

LocalStackでS3署名付きURLを使う時に気を付けるポイント

AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションの実装を行ったのですが、その際ハマったポイントがいくつかあったのでまとめます。AWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。

S3でクロスアカウントアクセスする時に気をつけるポイント

Amazon S3を利用したファイル連携を行う際、アカウント内に閉じた利用であれば特段問題ない場合でも、システム間連携となるとクロスアカウントが発生し、目的とした操作をするためには然るべき設定が必要になることがあります。自アカウント（アカウントA）のS3バケットに対して他アカウント（アカウントB）から書き込みを行い、アカウントAから当該ファイルを参照する際に注意する設定について紹介していきます。

DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する

DynamoDBを頻繁に利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。

AWS S3をIP制限付きのファイルダウンロードリンクにする

S3としてお馴染みの、Amazon Simple Storage Serviceは皆さんご存じだと思います。「シンプル」の命名とは裏腹に、静的サイトホスティングをS3で行ったりといった様々な利用形態が存在します。また、アセットファイルの配置場所やSSL通信の証明書ストアとして何らかのサービスと組み合わせるような利用形態が多いサービスではないでしょうか

素材受信インターフェースにSQSを活用してみた ～標準キュー vs FIFOキュー～

はじめまして、2017年新卒入社、TIG所属の出口です。今回は、GlyphFeedsの素材受信インターフェース構築を介してAmazon Simple Queue Service の検証について紹介します。

【小ネタ】AWS S3 署名付きURLってマネジメントコンソールからでも作れたのね

目新しい機能ではなくずいぶん前から存在するS3の署名付きURLについて新発見したので記載してみようと思います。便利な署名付きURLですがインターネット上で検索する限り、URLを発行するにはAWS CLIを利用する、もしくはSDKを利用して簡単なプログラミングをするかしかないと思ってました。利用する人がITエンジニアであればそれでも良いかと思いますが、しかしながら世の中にはプログラミングが苦手だったり、操作が容易であったり様々な理由でマネジメントコンソールで操作している方も多いと思います。

GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる

突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービス[DataTransferService](https://cloud.google.com/bigquery/transfer/)のソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジョブを作成できるようになりました。まだ、ベータ版でのリリースのみですが今回は実際にS3からのデータ転送を試してみましょう。

Go Cloud#1 概要とBlobへの活用方法

TIG DX Unit所属の多賀です。今回は、Go Cloudシリーズとしていくつか Go Cloudに関する記事をリレー形式で書いていきたいと思います。 第一弾としては、Go Cloud についての概要と、案件でも活用した Blob を利用したサンプルについて解説します。また、認証系の情報の扱いについても記載します。