Future Tech Blog
フューチャー技術ブログ

S3 タグ

  • 15
    投稿
  • 12
    著者数
  • 293
    総シェア数
  • 47
    X
  • 0
    Facebook
  • 137
    はてブ
  • 109
    Pocket
  • 4
    直近1年の投稿
  • 2
    直近1年の著者数

よく読まれている記事

新着記事

よくあるファイルアップロードの実装の共通コンポーネントを実装してみました

今まで色んな案件で同じようなファイルアップロード処理を見てきたので、共通のコンテナにできたらいいかも、と思ってAIに作ってもらいました。

S3 TablesのIceberg形式で、timestamptz型の登録に苦戦した話

S3 Tablesという型があります。今回、このtimestamptz型でカラムを登録しようとしたとき、いろいろ面白い発見があったので、記事にしたいと思います。

S3 Tables×AWS Glueで作る次世代データ分析基盤

モダンなデータ分析基盤のベストプラクティスについて、S3 Tabalesの活用事例とともに紹介いたします。

S3エミュレーションでrustfsを使ってみたメモとPresigned URLの仕組み

ちょっとしたオブジェクトストレージ前提のシステムのローカルテストでApache2ライセンスのrustfsを使ってみました。おおむね簡単だったのですが、認証設定をしたり、presigned URLの発行だけちょっと手間がかかってしまったのでその対応とその過程で学んだことのメモです。

Cloudflare R2 + NextCloudで作る自分専用クラウドストレージのススメ

今回はCloudflare連載ということで、Cloudflareのサービス、Cloudflare R2と、NextCloudを利用した自分専用クラウドストレージの構築について紹介します。

stree：S3バケットをtreeするCLIコマンド

S3バケットをtreeするCLIコマンドを紹介します。

S3 on LocalStackをGoとFUSEを使ってMountする（WSL2）

go-fuse でLocalStackでローカル環境にエミュレートされるS3バケットをマウントするツールを開発しました。

LocalStackでS3署名付きURLを使う時に気を付けるポイント

AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションの実装を行ったのですが、その際ハマったポイントがいくつかあったのでまとめます。AWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。

S3でクロスアカウントアクセスする時に気をつけるポイント

Amazon S3を利用したファイル連携を行う際、アカウント内に閉じた利用であれば特段問題ない場合でも、システム間連携となるとクロスアカウントが発生し、目的とした操作をするためには然るべき設定が必要になることがあります。自アカウント（アカウントA）のS3バケットに対して他アカウント（アカウントB）から書き込みを行い、アカウントAから当該ファイルを参照する際に注意する設定について紹介していきます。

DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する

DynamoDBを頻繁に利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。

AWS S3をIP制限付きのファイルダウンロードリンクにする

S3としてお馴染みの、Amazon Simple Storage Serviceは皆さんご存じだと思います。「シンプル」の命名とは裏腹に、静的サイトホスティングをS3で行ったりといった様々な利用形態が存在します。また、アセットファイルの配置場所やSSL通信の証明書ストアとして何らかのサービスと組み合わせるような利用形態が多いサービスではないでしょうか

素材受信インターフェースにSQSを活用してみた ～標準キュー vs FIFOキュー～

今回は、GlyphFeedsの素材受信インターフェース構築を介してAmazon Simple Queue Service の検証について紹介します。

【小ネタ】AWS S3 署名付きURLってマネジメントコンソールからでも作れたのね

目新しい機能ではなくずいぶん前から存在するS3の署名付きURLについて新発見したので記載してみようと思います。便利な署名付きURLですがインターネット上で検索する限り、URLを発行するにはAWS CLIを利用する、もしくはSDKを利用して簡単なプログラミングをするかしかないと思ってました。利用する人がITエンジニアであればそれでも良いかと思いますが、しかしながら世の中にはプログラミングが苦手だったり、操作が容易であったり様々な理由でマネジメントコンソールで操作している方も多いと思います。

GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる

突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceのソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジョブを作成できるようになりました。

Go Cloud#1 概要とBlobへの活用方法

今回は、Go Cloudシリーズとしていくつか Go Cloudに関する記事をリレー形式で書いていきたいと思います。 第一弾としては、Go Cloud についての概要と、案件でも活用した Blob を利用したサンプルについて解説します。また、認証系の情報の扱いについても記載します。