Future Tech Blog フューチャー技術ブログ

表示テーマ

人気のタグ

記事一覧

全1519本のうち 951 ～ 975 本目

【合格記】Google Cloud Professional Data Engineer認定資格を振り返る

先日Professional Data Engineer認定資格を取得しました。この記事ではその振り返りをします。新卒から3年半ほど機械学習モデリングを行っており、ここ半年はAWSでサーバーサイドの実装を主に担当しています。業務でGCPを扱ったことはありませんが、社内で「みんなで資格とっていきましょう！」のような機運があり、以前から機械学習とも関係があるデータエンジニアリングに興味があったため、今回Professional Data Engineer認定資格を受けることにしました。

S3でクロスアカウントアクセスする時に気をつけるポイント

Amazon S3を利用してファイル連携する際、アカウント内に閉じた利用であれば特段問題ない場合でも、システム間連携となるとクロスアカウントが発生し、目的とした操作をするためには然るべき設定が必要になることがあります。自アカウント（アカウントA）のS3バケットに対して他アカウント（アカウントB）から書き込みを行い、アカウントAから当該ファイルを参照する際に注意する設定について紹介していきます。

AWS Glueで複雑な処理を開発するときのTips

PySparkを使用したGlueジョブ開発のお話をします。ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます！

Microsoft Learnを使用したスキル向上チャレンジ

みなさん、Azureの勉強をどうやっていますか？本を買う、Webで情報収集、有料のセミナーなど様々な方法がありますが、Microsoft Learnはご存じでしょうか？私事ですが、このサイトを利用することでAzureの知識を身につけ、資格取得にもつなげることができました。

scikit-learn 1.0 リリース！更新内容を一部紹介します。

2021年9月24日にscikit-learn 1.0がリリースされました。私が大学院生のころ、scikit-learnのサンプルを動かすところから機械学習を勉強したので、ついに1.0かとなんだか感慨深い気持ちがありますから、個人的に気になった以下の4つの内容を紹介しようと思います。

pandas 1.0以降での変更点を一部紹介します

業務ではずっとPythonを書いています。Pythonを使ってデータ分析をする上で無くてはならないのがpandasです。リリースノートを見てみると、メジャーアップデートによる1.0.0 がリリースされたのが2020年の1月で、現時点での最新は1.3.3です。

Java17対応版！Javaコーディング規約の紹介

フューチャーのGitHubリポジトリで公開しているJavaコーディング規約をJava17に対応させたのでその宣伝記事です。先日の2021年9月14日にJava17がリリースされました。Java12からJava17の新機能...

AWSクラウドの耐障害性、可用性を高めるための前提知識

先日クラウドサービスの障害について社内で体系的に説明する機会があり、0から全体的なイメージがつかめるような情報を整理してみました。Webサービス、ITソリューションが自前のサーバーではなくクラウドサービスを利用して構築されるようになって久しいですが...と語っていきたい所ですが

AWS Glue Data CatalogでCSVを扱う

PySparkで予定しておりましたが、PySpark関連として、Glueを題材にさせていただきます。Glueといっても大きく下記の３種類、処理系をいれると4種類に分かれると思っていますが、それぞれ全く別のプロダクトという理解をしています。

Future Tech Night #16 ～クラウド時代のDWH～

今回の投稿は、先日TIG」の登壇後記です。以前に実施した社内勉強会のコンテンツを外部発信向けに整理したものとなります。私は元の資料の作成に関わっていなかったため、整理に際して一から目を通しました。

イテレータと仲良くなろう

最近は業務で Python ばかり書いています。今回は Python の中でも「なんとなく」で扱われがちなイテレータについてです。イテレータとはあるコンテナの中の要素に1つずつアクセスできるオブジェクト

Nyle × FUTURE で勉強会を開催しました

2021年9月10日 のエンジニアで集まり、合同での勉強会を開催しました。フューチャーからはインフラ担当1名と+アプリ担当2名が登壇して、クラウドサービスの紹介やクラウドでのしくじり話などを発表しました。ナイルさん側の発表内容もクラウド寄りのものが多く、期せずして「クラウド勉強会」のような雰囲気になりました。

PythonでMQTT!! ～Alexaでコマンドを送信する～

この記事は温度と湿度、不快指数を定期投稿するbotの作成を目指してハンズオンを進める構成となっています。

GoでMQTT!!　～温湿度マイスターbotの作成～(後編)

AWS IoTを使用したMQTTのチュートリアルはAWS公式からも詳細なハンズオン記事が出ています。本記事はこちらのハンズオンを基にGo言語を使用してMQTTで通信しました。(公式の記事はPythonで実装されています。)

GoでMQTT!!　～温湿度マイスターbotの作成～(前編)

今回はAWSサービスのうちの一つAWS IoTを使用してRaspberryPiとのMQTTによる通信を行います。最終的には室内の快適な温湿度を教えてくれる「温湿度マイスターbot」を作成します。

SQLのデータリネージツール、SQLLineageを試してみる

TIG DXユニット真野です。Python連載の2本目です。データリネージという概念に興味をもったのと、それをサポートするためのPytnon製ツールがあったので触ってみます。データリネージとは..

Python連載始まります＆Python翻訳プロジェクト

最近社内でも使う人が徐々に増えている？Pythonの連載記事を開始しようと思います。本エントリーではPythonドキュメントの日本語訳プロジェクトに参加してみた話を紹介します。

Redmine Slack Integration Pluginにメンション機能を追加しました！

Gitlabのマークはきつねではなくたぬきだったんですね...。今回はRedmine Slack Integration Pluginにメンション機能を追加したので紹介させていただきます。

VPC内のAmazon API Gatewayをインターネットオーバーで疎通確認する

Gateway+Lambda という構成でWebAPIを開発する際、ちょっと便利に使える疎通方法をまとめます。API GatewayですがPublicなエンドポイントがあれば curlコマンドやPostmanを用いての動作検証も容易だと思います。

Engineer Camp 2021（IoTプラットフォーム）に参加しました！

2021年のフューチャーのサマーインターン「Engineer Camp」に参加いたしました、山本雄樹です。インターンの振り返りも兼ねて、このブログを読んだ方にインターンの内容や雰囲気を伝えられたらと考えています。インターン参加前のスキルセットとしては以下の通りです。バックエンドの技術を中心に学習していたのですが、めぼしい成果物などもなく、実務経験が一切ありませんでした。

AWS Certified Security - Specialty合格体験記

先日AWS Certified Security - Specialtyに合格しました。今回も合格体験記を残しておきます。

lib/pq から jackc/pgx への移行

GoのORマッパー連載、おまけ記事です。特に示し合わせた訳では無いのですが、RDBは全員がPostgreSQLを使っていましたね。さて、今回の連載記事のいくつかでも言及されていた、jackc/pgx について簡単に紹介します。

Adobe XDからFlutterに変換する

モバイル開発をする場合、デザインはAdobe XDかFigmaか何かしらのワイヤフレームツールを使うと思います。本エントリーではそれらをもとにアプリケーションを作成したときのTipsを紹介します。なお、デザインする人はステークホルダーの人に共有したりすると思うので有料版のXDの方が良いと思いますが、Flutter開発する人はXDファイルを持っている or 共有してもらえたら、スターター版で大丈夫です。

LambdaをカスタムDockerランタイムで開発する方法

普段からAWS Lambdaにはお世話になっているのですが、初めてカスタムランタイムを動かす仕事が舞い込んできました。AWS Lambdaでは下記のランタイムがサポートされています。

【Google Chat API】Incoming Webhook を Go で触ってみる

Google Chat APIに関しての記事となります。業務でGoogle Chat上で通知システムを作成する必要があったのですが、実装するにあたりいくつかのハードルがありました。