Future Tech Blog
フューチャー技術ブログ
Home
Tags
AWS
AWS
タグの記事
100
投稿
47
著者数
2617
総シェア数
691
Twitter
0
Facebook
960
はてブ
966
Pocket
AWS利用時に read: connection reset by peer が出たときのリトライ検討
DynamoDBやKinesis Data Streamsなどを利用するサービスをそれなりの期間で稼働させているとポツポツ下記のようなエラーが発生することが分かりました。RequestError: send request failedcaused by: Post ...: read tcp 169.254.0.1:55638->3.113.218.4:443: read: connection reset by peer
2021.10.26
AWS
Network
Go言語
トラブルシュート
リトライ
Kinesis
TCP/IP
20
シェア
3
6
AWS SDK for GoでDynamoDBの式を扱うヘルパーパッケージの使い方
DynamoDBをGoで操作することにかけては、[DynamoDB×Go連載] に参加するくらい関心があるのですが、AWS SDK for Goの公式ライブラリに含まれる、ヘルパーパッケージについて存在を今までスルーしていました。使ってみると業務的には利用一択だと思ったので今後使っていくぞという覚書としてまとめます。
2021.10.25
AWS
Go言語
DynamoDB
式
2
シェア
7
5
AWS利用料金をSlackに円グラフ付きで投稿する
AWSの利用料金をSlackに通知する仕組みを作成したので共有したいと思います。私が参加しているプロジェクトでは、毎月AWSにいくらかかっているのか、加えてそれぞれのサービスは全体のコストの内どのぐらいの割合を占めているのか知りたいという話があり、今回AWSから利用額を取得しSlackに通知する仕組みを作る流れとなりました。
2021.10.15
可視化
AWS
Go言語
Slack
3
シェア
3
5
AWS Certified Advanced Networking - Specialty合格体験記
TIGの伊藤真彦です。来たる11月13日に[Go Conference 2021 Autumn]に、技術ブログでもお馴染みの澁川さん、辻さんと共に登壇させていただくことになりました。楽しい発表になるように頑張ります。宣伝を挟みましたが、AWS Certified Advanced Networking - Specialtyに合格しましたので、今回も合格体験記を書きます。
2021.10.13
AWS
Network
合格記
3
シェア
はてな
Pocket
S3でクロスアカウントアクセスする時に気をつけるポイント
Amazon S3を利用したファイル連携を行う際、アカウント内に閉じた利用であれば特段問題ない場合でも、システム間連携となるとクロスアカウントが発生し、目的とした操作をするためには然るべき設定が必要になることがあります。自アカウント(アカウントA)のS3バケットに対して他アカウント(アカウントB)から書き込みを行い、アカウントAから当該ファイルを参照する際に注意する設定について紹介していきます。
2021.10.12
AWS
S3
クロスアカウント
2
シェア
4
3
AWS Glueで複雑な処理を開発するときのTips
PySparkを使用したGlueジョブ開発のお話をします。ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます!
2021.10.11
AWS
Python
Glue
Athena
PySpark
SparkSQL
1
シェア
6
9
AWSクラウドの耐障害性、可用性を高めるための前提知識
先日クラウドサービスの障害について社内で体系的に説明する機会があり、0から全体的なイメージがつかめるような情報を整理してみました。Webサービス、ITソリューションが自前のサーバーではなくクラウドサービスを利用して構築されるようになって久しいですが...と語っていきたい所ですが
2021.10.06
AWS
初心者向け
AWS設計
13
シェア
54
17
AWS Glue Data CatalogでCSVを扱う
PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の3種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。
2021.10.06
AWS
Python
Glue
データカタログ
4
シェア
2
1
Nyle × FUTURE で勉強会を開催しました
こんにちは。TIGの棚井龍之介です。2021年9月10日 のエンジニアで集まり、合同での勉強会を開催しました。フューチャーからはインフラ担当1名と+アプリ担当2名が登壇して、クラウドサービスの紹介やクラウドでのしくじり話などを発表しました。ナイルさん側の発表内容もクラウド寄りのものが多く、期せずして「クラウド勉強会」のような雰囲気になりました。
2021.10.04
LT
登壇レポート
AWS
GCP
合同勉強会
11
シェア
2
Pocket
VPC内のAmazon API Gatewayをインターネットオーバーで疎通確認する
Gateway+Lambda という構成でWebAPI開発を行う際、ちょっと便利に使える疎通方法をまとめます。API GatewayですがPublicなエンドポイントがあれば `curl`コマンドや`Postman`を用いての動作検証も容易だと思います。
2021.09.24
AWS
Go言語
VPC
APIGateway
2
シェア
5
6
AWS Certified Security - Specialty合格体験記
TIGの伊藤真彦です。先日AWS Certified Security - Specialtyに合格しました。今回も合格体験記を残しておきます。
2021.09.21
AWS
合格記
1
シェア
はてな
1
LambdaをカスタムDockerランタイムで開発する方法
普段からAWS Lambdaにはお世話になっているのですが、初めてカスタムランタイムを動かす仕事が舞い込んできました。AWS Lambdaでは下記のランタイムがサポートされています。
2021.09.14
AWS
Oracle
Go言語
Docker
サーバーレス
Lambda
11
シェア
5
24
AWS Certified Developer - Associate 合格体験記
こんにちは、2019年新卒入社筋肉エンジニアの渡邉光です。先日、AWS認定資格の一つであるAWS Certified Developer - Associate(AWS DVA)を受験し、無事に合格することができました。合格するまでに自分が実施したことや感想を皆さんに共有できたらと思います。
2021.09.06
AWS
合格記
2
シェア
2
4
AWS初心者向けNW構築ハンズオン-Internal編-
AWS初心者にとって、最初に躓きやすい部分がNWの構築かと思います。インスタンス立ててみたけど、これってどうやると他のノードと通信できるんだっけ?なんとなく通信できたけど、なんでだ?といった辺り、なんとなく有耶無耶なままにしていませんか。今回は2020年12月にローンチされたReachability Analyzerを利用して、AWS初心者向けのNW構築ハンズオン-Internal編-をやってみたいと思います。
2021.08.31
AWS
初心者向け
Network
ハンズオン
VPC
VPC_Reachability_Analyzer
7
シェア
1
4
AWS Certified DevOps Engineer - Professional合格体験記
TIGの伊藤真彦です。先日AWS Certified DevOps Engineer – Professionalを受験し合格できました。これにて専門知識以外はコンプリートしました、Machine learning specialtyも合格しているので7冠です。
2021.08.25
AWS
DevOps
合格記
1
シェア
2
1
AWS Certified Solutions Architect - Associate 合格体験記
TIGの市川浩暉です。先日、業務の合間を縫って少しづつ勉強を進めていた、AWS Certified Solutions Architect - Associate(AWS SAA)を受験し、合格することができました。今回は合格までの学習方法と試験を受けた感想を共有したいと思います。この記事がこれから受験する人の一助となれば幸いです。
2021.08.18
AWS
合格記
19
シェア
1
6
Go x AWSでつくる サービス運用ツール実例集
Future Tech Night #12 〜Goで始めるサーバレスファーストという選択肢〜というイベントを開催しました。私は『Go x AWSでつくる サービス運用ツール実例集』というタイトルで発表させていただきました。
2021.07.16
登壇レポート
AWS
Go言語
StepFunctions
TechNight
12
シェア
3
9
Future Tech Night #12~Serverless x Goの可能性~で発表しました
2021/6/25(金)にFuture Tech Night #12~Goで始めるサーバレスファーストという選択肢~を開催しました。私はサーバレスの概要から実際に業務でサーバレスアーキテクチャを行っての経験談をお話ししました。
2021.07.13
登壇レポート
AWS
サーバーレス
TechNight
18
シェア
1
5
AWS内の通信がインターネットを経由しない今、VPC Endpointを利用する意味はあるのか?
AWS内の通信においてインターネットを経由しないことが最近になって公式ドキュメントに明記されたことを受け、改めてVPC Endpointの必要性について調べてみました。
2021.06.18
AWS
Network
技術選定
VPC
265
シェア
303
135
AWS APIGateway Custom Authorizer入門
今回は流行りの認証プロトコルであるOpenID ConnectとOAuth2.0におけるAuthorizerについて話そうと思います。AuthorizerとはAWS APIGatewayにある機能の一つで、外からAPIサーバに送られてくるリクエストを検証することにより、アクセスを制御する機能です。
2021.06.10
AWS
Lambda
APIGateway
6
シェア
2
11
Future Tech Night #9「オンコール通知も全自動で! AWS + Datadog + PagerDuty で作る運用監視基盤」
「オンコール通知も全自動で! AWS + Datadog + PagerDuty で作る運用監視基盤」 というテーマでお話しました。監視 に関連するOSSやSaaSが乱立する昨今、Futureではとある案件で DatadogとPagerDutyをフル活用した運用監視基盤を一から構築しました。運用監視基盤に求められた要件とその設計、システムからDatadog/PagerDutyへの具体的な連携アーキテクチャ、運用してみての嬉しみ/辛み等を惜しみなくお話しました。
2021.06.08
AWS
保守運用
TechNight
5
シェア
はてな
2
AWS Certified Solutions Architect - Professional合格体験記
TIGの伊藤真彦です。先日AWS Certified Solutions Architect - Professionalを受験し合格できました。合格までの学習方法を共有します。
2021.06.07
AWS
合格記
26
シェア
1
2
Future Tech Night #9 ~運用で後悔しないためのAWS設計術~ を開催しました。
こんにちは。TIG村瀬です。2021/4/21を開催しました。私は、運用まで考慮したクラウドアーキテクチャ設計できていますか?というタイトルでお話させていただきました。発表資料は...
2021.05.27
登壇レポート
AWS
保守運用
TechNight
AWS設計
10
シェア
33
21
AWS Glueの開発環境の構築(2021)
Glueの環境構築は以前の記事([AWS Glueの単体テスト環境の構築手順、AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました)にあるのですが、公式のDocker imageが案内されているので改めて、構築してみます。なお、Glueの公式イメージでもJupyter Notebookは利用できるのですが、使い勝手を考慮し、Jupyterlabに差し替えています。
2021.05.21
AWS
Glue
環境構築
JupyterNotebook
4
シェア
4
6
AWS CLIで用いるMFAをちょっとだけ便利に扱えるツールを公開しました
AWSのIAMユーザのセキュリティ上、IAMユーザにMFAを導入するケースがあります。MFAを有効にしているIAMユーザでGUI経由でログインする場合は、ログイン時に認証情報が求められて、MFAデバイスが出力するトークンを入力することでログインできます。一方AWS CLIを用いてリソースにアクセス場合はコマンド発行時に認証情報は求められません。代わりに以下のような記事にかかれているような...
2021.04.26
AWS
OSS
Go言語
IAM
ツイート
シェア
4
4
Prev
1
2
3
4
Next