Future Tech Blog
フューチャー技術ブログ

AWS タグの記事

120 記事中の 51 ～ 75 を表示

AWS Glueで複雑な処理を開発するときのTips

PySparkを使用したGlueジョブ開発のお話をします。ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます！

AWSクラウドの耐障害性、可用性を高めるための前提知識

先日クラウドサービスの障害について社内で体系的に説明する機会があり、0から全体的なイメージがつかめるような情報を整理してみました。Webサービス、ITソリューションが自前のサーバーではなくクラウドサービスを利用して構築されるようになって久しいですが...と語っていきたい所ですが

AWS Glue Data CatalogでCSVを扱う

PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の３種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。

Nyle × FUTURE で勉強会を開催しました

こんにちは。TIGの棚井龍之介です。2021年9月10日 のエンジニアで集まり、合同での勉強会を開催しました。フューチャーからはインフラ担当1名と+アプリ担当2名が登壇して、クラウドサービスの紹介やクラウドでのしくじり話などを発表しました。ナイルさん側の発表内容もクラウド寄りのものが多く、期せずして「クラウド勉強会」のような雰囲気になりました。

VPC内のAmazon API Gatewayをインターネットオーバーで疎通確認する

Gateway+Lambda という構成でWebAPI開発を行う際、ちょっと便利に使える疎通方法をまとめます。API GatewayですがPublicなエンドポイントがあれば `curl`コマンドや`Postman`を用いての動作検証も容易だと思います。

AWS Certified Security - Specialty合格体験記

TIGの伊藤真彦です。先日AWS Certified Security - Specialtyに合格しました。今回も合格体験記を残しておきます。

LambdaをカスタムDockerランタイムで開発する方法

普段からAWS Lambdaにはお世話になっているのですが、初めてカスタムランタイムを動かす仕事が舞い込んできました。AWS Lambdaでは下記のランタイムがサポートされています。

AWS Certified Developer - Associate 合格体験記

こんにちは、2019年新卒入社筋肉エンジニアの渡邉光です。先日、AWS認定資格の一つであるAWS Certified Developer - Associate（AWS DVA）を受験し、無事に合格することができました。合格するまでに自分が実施したことや感想を皆さんに共有できたらと思います。

AWS初心者向けNW構築ハンズオン-Internal編-

AWS初心者にとって、最初に躓きやすい部分がNWの構築かと思います。インスタンス立ててみたけど、これってどうやると他のノードと通信できるんだっけ？なんとなく通信できたけど、なんでだ？といった辺り、なんとなく有耶無耶なままにしていませんか。今回は2020年12月にローンチされたReachability Analyzerを利用して、AWS初心者向けのNW構築ハンズオン-Internal編-をやってみたいと思います。

AWS Certified DevOps Engineer - Professional合格体験記

TIGの伊藤真彦です。先日AWS Certified DevOps Engineer – Professionalを受験し合格できました。これにて専門知識以外はコンプリートしました、Machine learning specialtyも合格しているので7冠です。

AWS Certified Solutions Architect - Associate 合格体験記

先日、業務の合間を縫って少しづつ勉強を進めていた、AWS Certified Solutions Architect - Associate（AWS SAA）を受験し、合格することができました。今回は合格までの学習方法と試験を受けた感想を共有したいと思います。この記事がこれから受験する人の一助となれば幸いです。

Go x AWSでつくる サービス運用ツール実例集

Future Tech Night #12 〜Goで始めるサーバレスファーストという選択肢〜というイベントを開催しました。私は『Go x AWSでつくる サービス運用ツール実例集』というタイトルで発表させていただきました。

Future Tech Night #12～Serverless x Goの可能性～で発表しました

2021/6/25（金）にFuture Tech Night #12～Goで始めるサーバレスファーストという選択肢～を開催しました。私はサーバレスの概要から実際に業務でサーバレスアーキテクチャを行っての経験談をお話ししました。

AWS内の通信がインターネットを経由しない今、VPC Endpointを利用する意味はあるのか？

AWS内の通信においてインターネットを経由しないことが最近になって公式ドキュメントに明記されたことを受け、改めてVPC Endpointの必要性について調べてみました。

AWS APIGateway Custom Authorizer入門

今回は流行りの認証プロトコルであるOpenID ConnectとOAuth2.0におけるAuthorizerについて話そうと思います。AuthorizerとはAWS APIGatewayにある機能の一つで、外からAPIサーバに送られてくるリクエストを検証することにより、アクセスを制御する機能です。

Future Tech Night #9「オンコール通知も全自動で! AWS + Datadog + PagerDuty で作る運用監視基盤」

「オンコール通知も全自動で! AWS + Datadog + PagerDuty で作る運用監視基盤」 というテーマでお話しました。監視 に関連するOSSやSaaSが乱立する昨今、Futureではとある案件で DatadogとPagerDutyをフル活用した運用監視基盤を一から構築しました。運用監視基盤に求められた要件とその設計、システムからDatadog/PagerDutyへの具体的な連携アーキテクチャ、運用してみての嬉しみ/辛み等を惜しみなくお話しました。

AWS Certified Solutions Architect - Professional合格体験記

AWS Certified Solutions Architect - Professionalを受験し合格できました。合格までの学習方法を共有します。

Future Tech Night #9 ～運用で後悔しないためのAWS設計術～を開催しました。

こんにちは。TIG村瀬です。2021/4/21を開催しました。私は、運用まで考慮したクラウドアーキテクチャ設計できていますか？というタイトルでお話させていただきました。発表資料は...

AWS Glueの開発環境の構築(2021)

Glueの環境構築は以前の記事（[AWS Glueの単体テスト環境の構築手順、AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました）にあるのですが、公式のDocker imageが案内されているので改めて、構築してみます。なお、Glueの公式イメージでもJupyter Notebookは利用できるのですが、使い勝手を考慮し、Jupyterlabに差し替えています。

AWS CLIで用いるMFAをちょっとだけ便利に扱えるツールを公開しました

AWSのIAMユーザのセキュリティ上、IAMユーザにMFAを導入するケースがあります。MFAを有効にしているIAMユーザでGUI経由でログインする場合は、ログイン時に認証情報が求められて、MFAデバイスが出力するトークンを入力することでログインできます。一方AWS CLIを用いてリソースにアクセス場合はコマンド発行時に認証情報は求められません。代わりに以下のような記事にかかれているような...

KMSで暗号化してLambdaで復号化する

認証情報を Lambda の環境変数に渡す要件が発生したため認証情報を KMS で暗号化して、リポジトリには暗号化した値を登録し、Lambda 内で復号化する構成を取りました。

DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する

DynamoDBを頻繁に利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。

DynamoDBから効率的に大量のデータを取得する方法

こんにちは。TIG DXユニット所属の村上です。最近データ分析絡みでDynamoDBを触る機会が多く、DynamoDBが体の一部みたいになってきました。本記事の結論はこれです。

AWS SDK for Goのリトライアルゴリズムを差し替える方法

本記事では[AWS SDK for Go]を使ってAWSのAPIをコールする場合のリトライアルゴリズムを差し替える方法を紹介します。

Future Tech Night(第3弾：船舶IoT Platform編)を開催しました。

2020/8/17にオンラインにてFuture Tech Nightという社外勉強会を開催しました。今回は第3弾としてAWS＆DataPlatform を活用した、船舶IoTプロジェクトの事例を紹介しました。