Future Tech Blog
フューチャー技術ブログ

DataScience カテゴリの記事

87記事中の 26 ～ 50 を表示

Prompt Flowをローカルで動かす＆コードで管理する

AzureのPrompt Flowをローカル環境で動かし、作成したフローをコードで管理する方法をご紹介します。

Prompt Flowでプロンプト評価の管理を行う

AzureのPrompt Flowを使ってLLMに入力するプロンプト評価の管理を行います。プロンプト評価の管理を行いたい背景として...

【LLMOps】LLMの実験管理にTruLens-Evalを使ってみた

LLMの実験管理ツール候補として、TruLens-Evalを検証しました。合わせて、LLMの実験管理についてまとめてみました。

LLM開発のためにMLOpsチームがやるべきこと

「LLM開発のためにMLOpsチームがやるべきこと」というテーマで、従来のMLOpsとの違い・ツール・構成例等について調査・整理しました。LLMとはLarge Launguage Model（大規模言語モデル）の略であり..

LLM開発のフロー

昨今注目されている大規模言語モデルの開発においてMLOpsチームがやるべきことを考えるため、まずはLLM開発の流れを調査・整理しました。

Sentence-Transformersを使ってみた！YouTube動画のセリフを手軽にセマンティック検索

テキストの埋め込みエンコーダーを使ってセマンティック検索をおもちゃレベルで簡単に実装する方法を紹介します。分かりやすいように、YouTubeの動画のセリフをコーパスとして使用します。

夏の自由研究：CreateMLを使ってカブトムシを分類するミニアプリを作ってみる。

こんにちは！HealthCare Innovation Group[^1]所属の橋本です。本記事は、[夏の自由研究ブログ連載2023]の1本目です。夏の風物詩であるカブトムシやクワガタを識別するミニアプリを作りました。

強化学習を学びたい人が最初に読む本 を読んだ感想

本書は読んで学ぶ本ではなく、次の様な流れで学ぶスタイルであることが特徴です。1.まず人間が簡単なゲームを体験してみる 2.サンプルプログラムを使用してプログラムに...

Great ExpectationsでBigQueryのデータ品質を監視する

Great Expectationsというツールを使って、表形式データの品質をバリデーションする流れをご紹介します。MLOpsを推進するにあたりMLモデルの監視が必要となってきています。その中でも...

Stanによるベイズ推定に入門して株価の推移を予測してみる

テーマはベイズ推定です。選定の理由はこうです。業務で直接利用しているわけではないのですが、データ分析にはもともと興味があり、普段から社内の数人の有志メンバーを集めてチームを組んでデータ分析コンペなどにちまちまと参加していました。

Vertex AI Model MonitoringとEvidently AIで運用中のモデル・データを監視する【Output Metrics編】

データ/モデル監視ツールであるVertex AI Model MonitoringとEvidently AIを利用して両者を様々な観点で検証していきます。

Vertex AI Model MonitoringとEvidently AIで運用中のモデル・データを監視する【Input Metrics編】

データ/モデル監視ツールであるVertex AI Model MonitoringとEvidently AIを利用し、両者を様々な観点で検証していきたいと思います。Vertex AIのAutoMLで作成した回帰モデルの監視を想定し、ユースケースを交えて両者をそれぞれ検証していきます。

MLシステムにおけるモデル・データの監視【概要編】

「モデル・データの監視」について、なぜ監視が必要なのか、監視するべき項目は何か、監視するにはどのようなツールがあるのかについてご紹介します。

ChatGPTなどの大規模言語モデルが労働市場に与える影響の分析

世界中で話題となっているChatGPTですが、その開発元であるOpenAIから大規模言語モデル(LLM)が労働市場に与える影響について分析した論文が公開されました。

スモールデータ解析と機械学習 を読んだ感想

Kaggle、AtCoder等の趣味が高じて2022年12月フューチャーに入社しました。このような背景の人がフューチャーに入社後、何が不足していると感じ、どのようにそれを埋めていこうとしているのか。といった目線でお読みいただければ幸いです。

Vertex AI PipelinesのTips

Vertex AI Pipelinesを利用してみて分かったTipsについて、いくつかピックアップしてまとめました。なお、コードは全てPython・Kubeflowを用いた場合を記載しています。Vertex AI Pipelinesとは、GCP上でMLパイプライン機能を提供するサービスです。サーバーレス方式でMLワークフローをオーケストレートします。

【合格記】Google Cloud Professional Machine Learning Engineer認定資格を振り返る

先日、Google Cloudの認定資格であるProfessional Machine Learning Engineer認定資格を受験し、取得することができました。また、今回はリモート試験にて受験をしてみました。この記事ではProfessional Machine Learning Engineer認定資格の合格に至った学習過程とリモート試験体験記について...

住所情報から経路を探索する"そこそこ"な方法

ユーザ等から登録された住所情報から、ある程度精度を犠牲にすることで安価に経路を探索できる状態する、つまり"そこそこ"な方法について紹介します。なお紹介する内容は当社でアルバイトとして活躍している大森さん・高倉さんの協力を得ています。

Future Tech Night #17 embeddingを用いた分析・検索・推薦の技術

Future Tech Night #17「embeddingの活用」と「MLOps」のAI勉強会を開催し、「embeddingを用いた分析・検索・推薦の技術」というタイトルで発表しました。当日の勉強会の様子は[YouTubeで公開しており...

H&M Personalized Fashion Recommendations 参加記 (46th/2952)

Strategic AI Group所属の金子です。普段は推薦に関連する実装やデータ分析を行っています。先日Kaggleで開催された[H&M Personalized Fashion Recommendations]コンペに単独で参加し、2952チーム中46位をとりました。今回の参加記では以下の内容を紹介します。

Future Tech Night #21 Google Cloud Vertex AIによるフルマネージドなMLOps導入

「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」に登壇させていただきましたので、その内容について触れていきたいと思います。

cuDNN の CUDA API の紹介

NVIDIA 社が提供するディープラーニング用の GPGPU ライブラリ「cuDNN」の CUDA API を紹介したいと思います。cuDNN は TensorFlow や Keras で学習や推論を高速化するためのバックエンドとしてよく使われていますが、CUDA API を直接たたいたことがある方は少ないのではないでしょうか？個人的に作成したアプリケーションで CUDA API を叩く機会があり、社内の技術勉強会で紹介したところ好評だったため、こちらにも寄稿することにしました。

巡回セールスマン問題(TSP)の基本的な解き方(ILS)

SAIGアルバイトの後藤です。業務では、アルゴリズムの知識を用いた既存処理の高速化やスケジュールの自動作成による業務の効率化を行っています。配送計画問題など、最適化問題に属する社会課題は、部分問題に巡回セールスマン問題。TSPにおいて特に良いとされているILSには次の2つがあります。

Software Design 2021年11月号「Kaggleで知る機械学習」を寄稿しました

先日10月18日に発売された[Software Design 2021年11月号]の第一特集、「Kaggleで知る機械学習 前処理から学習モデルの構築，スコアの上げ方までわかる」をフューチャーの農見、玉木、金子が担当しました。数日経ってしまいましたが、簡単に紹介させていただきます。

scikit-learn 1.0 リリース！更新内容を一部紹介します。

2021年9月24日にscikit-learn 1.0がリリースされました。私が大学院生のころ、scikit-learnのサンプルを動かすところから機械学習を勉強したので、ついに1.0かとなんだか感慨深い気持ちがありますから、個人的に気になった以下の4つの内容を紹介しようと思います。