Future Tech Blog
フューチャー技術ブログ

DataScience カテゴリの記事

  • 54
    投稿
  • 29
    著者数
  • 1744
    総シェア数
  • 436
    Twitter
  • 784
    Facebook
  • 193
    はてブ
  • 331
    Pocket

Great ExpectationsでBigQueryのデータ品質を監視する

Great Expectationsというツールを使って、表形式データの品質をバリデーションする流れをご紹介します。MLOpsを推進するにあたりMLモデルの監視が必要となってきています。その中でも...

Stanによるベイズ推定に入門して株価の推移を予測してみる

テーマはベイズ推定です。選定の理由はこうです。業務で直接利用しているわけではないのですが、データ分析にはもともと興味があり、普段から社内の数人の有志メンバーを集めてチームを組んでデータ分析コンペなどにちまちまと参加していました。

Vertex AI Model MonitoringとEvidently AIで運用中のモデル・データを監視する【Output Metrics編】

データ/モデル監視ツールであるVertex AI Model MonitoringとEvidently AIを利用して両者を様々な観点で検証していきます。

Vertex AI Model MonitoringとEvidently AIで運用中のモデル・データを監視する【Input Metrics編】

データ/モデル監視ツールであるVertex AI Model MonitoringとEvidently AIを利用し、両者を様々な観点で検証していきたいと思います。Vertex AIのAutoMLで作成した回帰モデルの監視を想定し、ユースケースを交えて両者をそれぞれ検証していきます。

MLシステムにおけるモデル・データの監視【概要編】

「モデル・データの監視」について、なぜ監視が必要なのか、監視するべき項目は何か、監視するにはどのようなツールがあるのかについてご紹介します。

ChatGPTなどの大規模言語モデルが労働市場に与える影響の分析

世界中で話題となっているChatGPTですが、その開発元であるOpenAIから大規模言語モデル(LLM)が労働市場に与える影響について分析した論文が公開されました。

スモールデータ解析と機械学習 を読んだ感想

Kaggle、AtCoder等の趣味が高じて2022年12月フューチャーに入社しました。このような背景の人がフューチャーに入社後、何が不足していると感じ、どのようにそれを埋めていこうとしているのか。といった目線でお読みいただければ幸いです。

Vertex AI PipelinesのTips

Vertex AI Pipelinesを利用してみて分かったTipsについて、いくつかピックアップしてまとめました。なお、コードは全てPython・Kubeflowを用いた場合を記載しています。Vertex AI Pipelinesとは、GCP上でMLパイプライン機能を提供するサービスです。サーバーレス方式でMLワークフローをオーケストレートします。

【合格記】Google Cloud Professional Machine Learning Engineer認定資格を振り返る

先日、Google Cloudの認定資格であるProfessional Machine Learning Engineer認定資格を受験し、取得することができました。また、今回はリモート試験にて受験をしてみました。この記事ではProfessional Machine Learning Engineer認定資格の合格に至った学習過程とリモート試験体験記について...

住所情報から経路を探索する"そこそこ"な方法

ユーザ等から登録された住所情報から、ある程度精度を犠牲にすることで安価に経路を探索できる状態する、つまり"そこそこ"な方法について紹介します。なお紹介する内容は当社でアルバイトとして活躍している大森さん・高倉さんの協力を得ています。

Future Tech Night #17 embeddingを用いた分析・検索・推薦の技術

Future Tech Night #17「embeddingの活用」と「MLOps」のAI勉強会を開催し、「embeddingを用いた分析・検索・推薦の技術」というタイトルで発表しました。当日の勉強会の様子は[YouTubeで公開しており...

H&M Personalized Fashion Recommendations 参加記 (46th/2952)

Strategic AI Group所属の金子です。普段は推薦に関連する実装やデータ分析を行っています。先日Kaggleで開催された[H&M Personalized Fashion Recommendations]コンペに単独で参加し、2952チーム中46位をとりました。今回の参加記では以下の内容を紹介します。

Future Tech Night #21 Google Cloud Vertex AIによるフルマネージドなMLOps導入

「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」に登壇させていただきましたので、その内容について触れていきたいと思います。

cuDNN の CUDA API の紹介

NVIDIA 社が提供するディープラーニング用の GPGPU ライブラリ「cuDNN」の CUDA API を紹介したいと思います。cuDNN は TensorFlow や Keras で学習や推論を高速化するためのバックエンドとしてよく使われていますが、CUDA API を直接たたいたことがある方は少ないのではないでしょうか？個人的に作成したアプリケーションで CUDA API を叩く機会があり、社内の技術勉強会で紹介したところ好評だったため、こちらにも寄稿することにしました。

巡回セールスマン問題(TSP)の基本的な解き方(ILS)

SAIGアルバイトの後藤です。業務では、アルゴリズムの知識を用いた既存処理の高速化やスケジュールの自動作成による業務の効率化を行っています。配送計画問題など、最適化問題に属する社会課題は、部分問題に巡回セールスマン問題。TSPにおいて特に良いとされているILSには次の2つがあります。

Software Design 2021年11月号「Kaggleで知る機械学習」を寄稿しました

先日10月18日に発売された[Software Design 2021年11月号]の第一特集、「Kaggleで知る機械学習 前処理から学習モデルの構築，スコアの上げ方までわかる」をフューチャーの農見、玉木、金子が担当しました。数日経ってしまいましたが、簡単に紹介させていただきます。

scikit-learn 1.0 リリース！更新内容を一部紹介します。

2021年9月24日にscikit-learn 1.0がリリースされました。私が大学院生のころ、scikit-learnのサンプルを動かすところから機械学習を勉強したので、ついに1.0かとなんだか感慨深い気持ちがありますから、個人的に気になった以下の4つの内容を紹介しようと思います。

医薬品副作用データベースから医薬品同士の関係を学習・評価・可視化する

こんにちは！Strategic AI Groupの金子です。夏の自由研究ブログ連載2021として医薬品副作用データベースにWord2Vecを適用し性能を評価、医薬品-原疾患-有害事象の可視化を行いました。本記事で作成したプログラムは医薬品の情報を扱っていますが、医療機器には該当せず人の疾病の診断、治療、予防を目的としておりません。本記事の内容に基づいて医学的判断は行わないようお願いします。

Future Tech Night #11「機械学習勉強会」

6月18日にFuture Tech Night #11 ～機械学習勉強会～を開催しました。私は「ワクチン推定精度世界一へ！異分野技術で世界に貢献」というタイトルで、貞光が「複雑・巨大なITシステムをグラフベースの深層学習で自動解析」というタイトルでそれぞれお話させていただきました。

技育祭登壇しました。これから機械学習を学びたい方向けへの自分の経験談とおすすめの本、サイトの紹介もします

TIGの玉木です。去年の12月までは主に機械学習エンジニアとして機械学習案件を任されていましたが、今年の1月からはITコンサルタントとして業務の幅が広くなりいろいろやっています。先月技育祭と呼ばれるイベントの勉強会という枠で、同僚の上野さんと一緒に「初心者必見！機械学習エンジニアがあれこれ話します。〜基礎から実社会応用まで〜」というタイトルで発表しました。

実世界データの特徴と処理方法

私は大学時代から深層強化学習の研究をしていますが、分野的にほとんど実世界のデータを扱うことがありませんでした。そんな私ですが、実務で実世界データの分析を行う機会があり、その違いに多くの学びがありました。今回は実世界データのデータ分析を行った結果見えてきた、実世界データの特徴と欠損値や不正データの処理について解説しようと思います。簡易的ですがソースコードも示していますので、参考になれば幸いです。

Transformerを用いた表現学習・推薦の実装

自然言語処理でよく使われるWord2VecやTransformerをログデータやテーブルデータの予測・分析に活用するためのオレオレベースラインの紹介を行います。対象読者は既にWord2VecやTransformerについて知識があり、その上自身で改造を行いたい人や...

MLOpsことはじめ ～実験管理導入と学習基盤の構築～

2019年度入社の真鍋です。学生の頃よりクラウドやHadoop等、大規模分散システムの研究をしていました。その経験と私自身の希望もあり、SAIGでは主にインフラ担当として業務に取り組んでいます。今回は私がAI分野のインフラに触れ、MLOpsを知り、SAIG全体で利用する学習基盤を構築するまでに得た知見を、一部ではありますが共有させていただければと思い筆を取りました。

バイオ情報学研究発表会で発表してきました

SAIGの玉木です。会社では自然言語処理案件や、ワクチン開発案件に取り組んでいます。先日、会社で取り組んだワクチン開発に必要な基礎的な研究について、第64回バイオ情報学研究発表会で発表してきました。

イノベーションの捉え方

今回は、統計調査という繋がりで、イノベーションの捉え方に関する2つの調査を紹介させていただこうと思います。皆さんはイノベーションという言葉からどのようなことをイメージされるでしょうか？何かが新しく登場してわれわれの生活を便利してくれることをイメージされるかもしれません。身近に当たり前のように普及してきている例で言えば...