Future Tech Blog
フューチャー技術ブログ

DynamoDB タグの記事

  • 20
    投稿
  • 11
    著者数
  • 824
    総シェア数
  • 215
    Twitter
  • 0
    Facebook
  • 276
    はてブ
  • 333
    Pocket

Goのtext/templateを用いてDynamoDBやOpenSearch向けの大量のJSONデータを作成した話

システムの性能テストを実施する際、テスト用の大量データを投入することがあります。本番相当のデータを入れるために、数千万ないしは数億のデータが必要になる場合もあり、データ生成には一工夫を要します。

DynamoDB Streamsは同一ハッシュキーでもソートキーが異なれば順序保証されない

TIG DXユニットの真野です。タイトルに書いたままの内容の記事です。おそらくDynamoDB Streams について調べたことがある方の多くの人には自明な内容だと思います。サマリです。* DynamoDB Streamsの起動順序が保たれるのは 項目単位

DynamoDB利用時の書き込みスキュー（Write Skew）の回避

一般的に複数のトランザクションが並行して同じオブジェクトに対してアクセスを行う場合には、トランザクションの分離レベル（SERIALIZABLE/REPEATABLE READ/READ COMMITTED/READ UNCOMMITTED）によって様々な問題が発生します。DynamoDBは2018年にトランザクションがサポートされましたが、本記事ではファントムリードによる書き込みスキューの問題とその対応について取り上げたいと思います。

IoTの力でワインの品質を管理する

こんにちは。日本ソムリエ協会認定ワインエキスパートの今泉です。ワインはとてもデリケートな飲み物で真夏の気温などでは直ぐにダメになってしまいます。また熟成に適した温度もあり、一般的には年間を通じて12~15℃程度で一日の温度変化が少ないほうが良いとされています。ということで、アラート機能付きの温湿度データロガーを自作することにしました

GoとDynamoDBを用いた開発で反省していること

失敗談をテーマにした連載ということで、ちょうどプロダクト開発的に良い区切りのタイミングでもあるため、振り返りがてら、DynamoDB,Go,AWS Lambdaの技術要素について自分自身の理解・見込みの甘さについて反省します。

AWS SDK for GoでDynamoDBの式を扱うヘルパーパッケージの使い方

DynamoDBをGoで操作することにかけては、[DynamoDB×Go連載] に参加するくらい関心があるのですが、AWS SDK for Goの公式ライブラリに含まれる、ヘルパーパッケージについて存在を今までスルーしていました。使ってみると業務的には利用一択だと思ったので今後使っていくぞという覚書としてまとめます。

Goでバッチ登録するときのイディオム

個人利用など、ごく小さなサービスなどでない限り、複数件のレコードを一括でデータストア層へ登録する必要は出てくると思います。この時1件ずつループ処理で登録するのではなく、効率性などの観点で各データストアが提供する一括登録の仕組みを利用すると思います。

DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する

DynamoDBを頻繁に利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。

DynamoDBから効率的に大量のデータを取得する方法

こんにちは。TIG DXユニット所属の村上です。最近データ分析絡みでDynamoDBを触る機会が多く、DynamoDBが体の一部みたいになってきました。本記事の結論はこれです。

オレのDynamoDB Streamsが再着火しないわけがない

DynamoDB Streamsは、DynamoDBに対する項目の追加、変更、削除をイベントとして検出できる機能です。テーブルの項目が変更されるとすぐに、新しいレコードがテーブルのストリームに表示されます

DynamoDBのページング

AWSのDBといえば「RDS」が代表格ですが、近年のサーバレス普及に伴い「DynamoDB」が第一選択肢として選ばれる機会が増えています。

【入門】私を苦しめたDynamoDB

はじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。夏休み自由研究連載の11本目の記事で公開された[Slack×GASの日報テンプレBOTを実務に導入してみた]の執筆者である仁木さんと同期です。私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！

AWSサービストリガによるLambda起動

昨今様々なシステムで利用さているAWSのLambdaですが、サーバレスということもあり何かのイベントをトリガに関数を起動させる方法が一般的かと思います。LambdaはAWSの様々なサービスをトリガとして起動することが可能で、自分たちの利用しているAWSサービスと組み合わせて実装するることでその真価を発揮します。AWSに少し詳しい人であればLambdaをAWSのサービストリガで起動させる事ができることは知っていると思いますが、いざ実装するとなると具体的にどういった手順で、なんの設定が必要かというところがわからないという人もいるのではないでしょうか。

Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する

AWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。

Serverless連載3: Goでサーバーレス用の検索エンジンwatertowerを作ってみました

クラウドサービスが充実してくるにつれて、サーバーレスではいろいろなことができるようになっています。HTTPサーバーは動きますし、RDBやNoSQLなストレージも使えますし、PubSubみたいなサービスも利用できます。これらを駆使するとそこそこ複雑な処理も記述できます。一方で、上から下までサーバーレスにしようとするとできないものもいくつかあります。例えば、RDBも使えるといっても制約があり、LambdaやCloud ...

Serverless連載1: SAMを使ったローカルテスト（Go編）

AWSのLambdaに代表されるサーバレスアプリは実行時のみ稼働するため、サーバー稼働によるあらゆるコストから解放され、システム開発の工数を減らすことができます。例えば何らかのAPIを提供する場合でも、API GatewayとLambdaを組み合わせることで提供可能です。

DynamoDB×Go#3 Go CDKでどこまでいける？機能を調べてみた

DynamoDB×Go連載の第3弾目です。今までは AWS SDK Go やそれをラップしたguregu/dynamo について説明していましたが、 Go CDK（Go Cloud Development Kit） を用いたDynamoDB操作について説明します。

DynamoDB×Go連載#2 AWS SDKによるDynamoDBの基本操作

DynamoDB×Go連載企画の第2弾の記事となります。本記事ではサードパーティ製のライブラリを利用せずaws-sdkを素で利用した場合のDynamoDBの基本操作について見ていきましょう。

DynamoDB×Go連載#1 GoでDynamoDBでおなじみのguregu/dynamoを利用する

Go言語でWebサーバを実装していた際にDynamoDBを扱うライブラリとしてGregさんの https://github.com/guregu/dynamo を使っていました。当時Go初心者だった私は「go dynamo」とすぐさまGoogle先生に問い合わせ、「guregu/dynamoがオススメ」とのエントリーを多数発見しました。オブジェクトの取り回しが隠蔽化されていてとにかく実装が簡単だと記事にも書いてありましたし、私自身も実際そう感じました。

Go Cloud#3 Go CloudのDocStoreを使う

Go Cloudの紹介の連載の第3弾です。Go Cloudにはいろいろ便利な機能がありますが、ほとんどの機能は既存のAPIへの薄いラッパーだったりします。そんな中、よくぞ実装したな、と思われるのがDocStoreです。