Future Tech Blog フューチャー技術ブログ

表示テーマ

人気のタグ

AWS タグ

記事一覧

全139本のうち 51 ～ 75 本目

AWS Glueの開発環境の構築(2022)

2021年の記事でもAWSの公式のDockerイメージを使って環境構築をする内容の記事があるのですが、Glue3.0の公式のDockerイメージがリリースされていたので、そちらを使って再度Glueのローカルでの開発環境構築の記事を書いてみようと思います。せっかくなので昨年の記事と少しコードを変えようと思い、AWSの公式ドキュメントに書かれたコードを基に解説します。

AWS Partner Summit Japan 2022に登壇してみた

2022/3/16（水）に開催されたAWS Partner Summit Japan 2022に縁あって登壇の機会をいただきました。オンラインでしたが、撮影は目黒セントラルスクエア。TV局かなと思うほどの撮影機材や、明らかにプロフェッショナルなスタッフの皆さまに囲まれての発表だったので非常によい刺激をいただけました。終わった後の達成感が凄く良かったです！

TinkerBoard 2S：AWS Greengrass v1をインストールする

ASUSが販売しているシングルボードコンピュータTinekr Board2SにAWS Greengrassの環境を構築したので記事にまとめました。

Future Tech Night #19 CodePipelineを用いたECS on EC2でのBlue/Greenデプロイメント

2022年1月28日にFuture Tech Night #19 AWS CodePipelineと新聞向けCMS構築事例を開催しました。こちらの勉強会で「CodePipelineを用いたECS on EC2でのBlue/Greenデプロイメント」というテーマで発表させていただきました。

AWS Certified SysOps Administrator – Associate 合格体験記

2019年新卒入社筋肉エンジニアの渡邉光です。AWS Certified SysOps Administrator – Associate (AWS SOA-C02) を受験してきました。無事合格できたので、Associate試験は3冠を達成することができました！

Future Tech Night #19「新聞業界を変革するクラウドサービス「GlyphFeeds」を支えるAWSサービス」

2022年1月28日にFuture Tech Night #19 AWS CodePipelineと新聞向けCMS構築事例]を開催しました。こちらの勉強会で「新聞業界を変革するクラウドサービス「GlyphFeeds」を支えるAWSサービスというテーマで発表させていただきました。GlyphFeedsとは、フューチャーが独自開発したメディア業界向けのクラウドサービスです。新聞メディアCMS（基幹システム）をAWSフルクラウド＆Webアーキテクチャで実現しています。

Pipenv+LocalStackで作るLambda開発環境

PipenvとLocalStackを使用したLambda開発環境の構築を紹介します。本記事で作成するデモアプリは以下のGitHubリポジトリに格納しています。

Step Functions を利用して感じた Airflow との比較

AWS 上でのワークフロー構築のため、Step Functions を直近で導入しました。

LocalStackでS3署名付きURLを使う時に気を付けるポイント

AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションを実装したのですが、その際ハマったポイントがいくつかあったのでまとめます。AWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。

AWS Certified Database - Specialty合格体験記

AWS Certified Database - Specialtyに合格しました。これにて2021年に受験できる11資格を全て制覇しました。来年SAP on AWS - 専門知識が登場する事が確定していますが、ひとまず完全制覇です。

AWS Certified Data Analytics - Specialty合格体験記

先日AWS Certified Data Analytics - Specialtyに合格しました。これで持っているAWS認定資格は10個になりました。

AWS GameDay Online参加レポート

先日社内の同じチームの加藤さんに誘っていただき、チームメンバーと4人でAWS GameDay Inlineに参加させていただきました。今回は参加レポートを書きます。

AWS利用時に read: connection reset by peer が出たときのリトライ検討

DynamoDBやKinesis Data Streamsなどを利用するサービスをそれなりの期間で稼働させているとポツポツ下記のようなエラーが発生することが分かりました。RequestError: send request failedcaused by: Post ...: read tcp 169.254.0.1:55638->3.113.218.4:443: read: connection reset by peer

AWS SDK for GoでDynamoDBの式を扱うヘルパーパッケージの使い方

DynamoDBをGoで操作することにかけては、DynamoDB×Go連載 に参加するくらい関心があるのですが、AWS SDK for Goの公式ライブラリに含まれる、ヘルパーパッケージについて存在を今までスルーしていました。使ってみると業務的には利用一択だと思ったので今後使っていくぞという覚書としてまとめます。

AWS利用料金をSlackに円グラフ付きで投稿する

AWSの利用料金をSlackに通知する仕組みを作成したので共有したいと思います。私が参加しているプロジェクトでは、毎月AWSにいくらかかっているのか、加えてそれぞれのサービスは全体のコストの内どのぐらいの割合を占めているのか知りたいという話があり、今回AWSから利用額を取得しSlackに通知する仕組みを作る流れとなりました。

AWS Certified Advanced Networking - Specialty合格体験記

来たる11月13日にGo Conference 2021 Autumnに、技術ブログでもお馴染みの澁川さん、辻さんと共に登壇させていただくことになりました。楽しい発表になるように頑張ります。宣伝を挟みましたが、AWS Certified Advanced Networking - Specialtyに合格しましたので、今回も合格体験記を書きます。

S3でクロスアカウントアクセスする時に気をつけるポイント

Amazon S3を利用してファイル連携する際、アカウント内に閉じた利用であれば特段問題ない場合でも、システム間連携となるとクロスアカウントが発生し、目的とした操作をするためには然るべき設定が必要になることがあります。自アカウント（アカウントA）のS3バケットに対して他アカウント（アカウントB）から書き込みを行い、アカウントAから当該ファイルを参照する際に注意する設定について紹介していきます。

AWS Glueで複雑な処理を開発するときのTips

PySparkを使用したGlueジョブ開発のお話をします。ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます！

AWSクラウドの耐障害性、可用性を高めるための前提知識

先日クラウドサービスの障害について社内で体系的に説明する機会があり、0から全体的なイメージがつかめるような情報を整理してみました。Webサービス、ITソリューションが自前のサーバーではなくクラウドサービスを利用して構築されるようになって久しいですが...と語っていきたい所ですが

AWS Glue Data CatalogでCSVを扱う

PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の３種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。

Nyle × FUTURE で勉強会を開催しました

2021年9月10日 のエンジニアで集まり、合同での勉強会を開催しました。フューチャーからはインフラ担当1名と+アプリ担当2名が登壇して、クラウドサービスの紹介やクラウドでのしくじり話などを発表しました。ナイルさん側の発表内容もクラウド寄りのものが多く、期せずして「クラウド勉強会」のような雰囲気になりました。

VPC内のAmazon API Gatewayをインターネットオーバーで疎通確認する

Gateway+Lambda という構成でWebAPIを開発する際、ちょっと便利に使える疎通方法をまとめます。API GatewayですがPublicなエンドポイントがあれば curlコマンドやPostmanを用いての動作検証も容易だと思います。

AWS Certified Security - Specialty合格体験記

先日AWS Certified Security - Specialtyに合格しました。今回も合格体験記を残しておきます。

LambdaをカスタムDockerランタイムで開発する方法

普段からAWS Lambdaにはお世話になっているのですが、初めてカスタムランタイムを動かす仕事が舞い込んできました。AWS Lambdaでは下記のランタイムがサポートされています。

AWS Certified Developer - Associate 合格体験記

2019年新卒入社筋肉エンジニアの渡邉光です。先日、AWS認定資格の一つであるAWS Certified Developer - Associate（AWS DVA）を受験し、無事に合格することができました。合格するまでに自分が実施したことや感想を皆さんに共有できたらと思います。