Future Tech Blog
フューチャー技術ブログ

DataScience カテゴリ

全100本のうち 51 ～ 75 本目を表示

記事一覧

ChatGPTなどの大規模言語モデルが労働市場に与える影響の分析

世界中で話題となっているChatGPTですが、その開発元であるOpenAIから大規模言語モデル(LLM)が労働市場に与える影響について分析した論文が公開されました。

スモールデータ解析と機械学習 を読んだ感想

Kaggle、AtCoder等の趣味が高じて2022年12月フューチャーに入社しました。このような背景の人がフューチャーに入社後、何が不足していると感じ、どのようにそれを埋めていこうとしているのか。といった目線でお読みいただければ幸いです。

Vertex AI PipelinesのTips

Vertex AI Pipelinesを利用してみて分かったTipsについて、いくつかピックアップしてまとめました。なお、コードは全てPython・Kubeflowを用いた場合を記載しています。Vertex AI Pipelinesとは、GCP上でMLパイプライン機能を提供するサービスです。サーバーレス方式でMLワークフローをオーケストレートします。

Plotly.pyによるデータ可視化のすすめ

現在業務でいわゆるビッグデータを扱っていまして、アウトプットを可視化する機会が多くあります。Pythonでデータ可視化といえばmatplotlibが定番で、メンバー単位でのアウトプット共有なら特に不便は無いのですが、クライアントへの説明資料などに使い回すことを考えると、もう少し見栄え良く仕上げたくなる時があります。

【合格記】Google Cloud Professional Machine Learning Engineer認定資格を振り返る

先日、Google Cloudの認定資格であるProfessional Machine Learning Engineer認定資格を受験し、取得することができました。また、今回はリモート試験にて受験をしてみました。この記事ではProfessional Machine Learning Engineer認定資格の合格に至った学習過程とリモート試験体験記について...

住所情報から経路を探索する"そこそこ"な方法

ユーザ等から登録された住所情報から、ある程度精度を犠牲にすることで安価に経路を探索できる状態する、つまり"そこそこ"な方法について紹介します。なお紹介する内容は当社でアルバイトとして活躍している大森さん・高倉さんの協力を得ています。

Foursquare - Location Matching 参加記 (7th / 1083)

先日Kaggleで開催された「Foursquare - Location Matching」コンペ(以下4sqコンペ)に社外の知人共にチームで参加し、1083チーム中7位をとりました。（初の金メダルでKaggle Competitions Masterになりました！）本記事では参加記として以下の内容を紹介します。

Future Tech Night #17 embeddingを用いた分析・検索・推薦の技術

Future Tech Night #17「embeddingの活用」と「MLOps」のAI勉強会を開催し、「embeddingを用いた分析・検索・推薦の技術」というタイトルで発表しました。当日の勉強会の様子は[YouTubeで公開しており...

H&M Personalized Fashion Recommendations 参加記 (46th/2952)

普段は推薦に関連する実装やデータ分析をしています。先日Kaggleで開催されたH&M Personalized Fashion Recommendationsコンペに単独で参加し、2952チーム中46位をとりました。今回の参加記では以下の内容を紹介します。

Future Tech Night #21 Google Cloud Vertex AIによるフルマネージドなMLOps導入

「Future Tech Night #21 Google Cloud: データエンジニア＋MLOps」に登壇させていただきましたので、その内容について触れていきたいと思います。

cuDNN の CUDA API の紹介

NVIDIA 社が提供するディープラーニング用の GPGPU ライブラリ「cuDNN」の CUDA API を紹介したいと思います。cuDNN は TensorFlow や Keras で学習や推論を高速化するためのバックエンドとしてよく使われていますが、CUDA API を直接たたいたことがある方は少ないのではないでしょうか？個人的に作成したアプリケーションで CUDA API を叩く機会があり、社内の技術勉強会で紹介したところ好評だったため、こちらにも寄稿することにしました。

巡回セールスマン問題(TSP)の基本的な解き方(ILS)

業務では、アルゴリズムの知識を用いた既存処理の高速化やスケジュールの自動作成による業務の効率化を行っています。配送計画問題など、最適化問題に属する社会課題は、部分問題に巡回セールスマン問題。TSPにおいて特に良いとされているILSには次の2つがあります。

Software Design 2021年11月号「Kaggleで知る機械学習」を寄稿しました

先日10月18日に発売されたSoftware Design 2021年11月号の第一特集、「Kaggleで知る機械学習 前処理から学習モデルの構築，スコアの上げ方までわかる」をフューチャーの農見、玉木、金子が担当しました。数日経ってしまいましたが、簡単に紹介させていただきます。

scikit-learn 1.0 リリース！更新内容を一部紹介します。

2021年9月24日にscikit-learn 1.0がリリースされました。私が大学院生のころ、scikit-learnのサンプルを動かすところから機械学習を勉強したので、ついに1.0かとなんだか感慨深い気持ちがありますから、個人的に気になった以下の4つの内容を紹介しようと思います。

pandas 1.0以降での変更点を一部紹介します

業務ではずっとPythonを書いています。Pythonを使ってデータ分析をする上で無くてはならないのがpandasです。リリースノートを見てみると、メジャーアップデートによる1.0.0 がリリースされたのが2020年の1月で、現時点での最新は1.3.3です。

医薬品副作用データベースから医薬品同士の関係を学習・評価・可視化する

夏の自由研究ブログ連載2021として医薬品副作用データベースにWord2Vecを適用し性能を評価、医薬品-原疾患-有害事象の可視化を行いました。本記事で作成したプログラムは医薬品の情報を扱っていますが、医療機器には該当せず人の疾病の診断、治療、予防を目的としておりません。本記事の内容に基づいて医学的判断は行わないようお願いします。

Future Tech Night #11「機械学習勉強会」

6月18日にFuture Tech Night #11 ～機械学習勉強会～を開催しました。私は「ワクチン推定精度世界一へ！異分野技術で世界に貢献」というタイトルで、貞光が「複雑・巨大なITシステムをグラフベースの深層学習で自動解析」というタイトルでそれぞれお話させていただきました。

技育祭登壇しました。これから機械学習を学びたい方向けへの自分の経験談とおすすめの本、サイトの紹介もします

去年の12月までは主に機械学習エンジニアとして機械学習案件を任されていましたが、今年の1月からはITコンサルタントとして業務の幅が広くなりいろいろやっています。先月技育祭と呼ばれるイベントの勉強会という枠で、同僚の上野さんと一緒に「初心者必見！機械学習エンジニアがあれこれ話します。〜基礎から実社会応用まで〜」というタイトルで発表しました。

実世界データの特徴と処理方法

私は大学時代から深層強化学習の研究をしていますが、分野的にほとんど実世界のデータを扱うことがありませんでした。そんな私ですが、実務で実世界データを分析する機会があり、その違いに多くの学びがありました。今回は実世界データを分析した結果見えてきた、実世界データの特徴と欠損値や不正データの処理について解説しようと思います。簡易的ですがソースコードも示していますので、参考になれば幸いです。

Transformerを用いた表現学習・推薦の実装

自然言語処理でよく使われるWord2VecやTransformerをログデータやテーブルデータの予測・分析に活用するためのオレオレベースラインの紹介を行います。対象読者は既にWord2VecやTransformerについて知識があり、その上自身で改造を行いたい人や...

MLOpsことはじめ ～実験管理導入と学習基盤の構築～

2019年度入社の真鍋です。学生の頃よりクラウドやHadoop等、大規模分散システムの研究をしていました。その経験と私自身の希望もあり、SAIGでは主にインフラ担当として業務に取り組んでいます。今回は私がAI分野のインフラに触れ、MLOpsを知り、SAIG全体で利用する学習基盤を構築するまでに得た知見を、一部ではありますが共有させていただければと思い筆を取りました。

バイオ情報学研究発表会で発表してきました

会社では自然言語処理案件や、ワクチン開発案件に取り組んでいます。先日、会社で取り組んだワクチン開発に必要な基礎的な研究について、第64回バイオ情報学研究発表会で発表してきました。

イノベーションの捉え方

今回は、統計調査という繋がりで、イノベーションの捉え方に関する2つの調査を紹介させていただこうと思います。皆さんはイノベーションという言葉からどのようなことをイメージされるでしょうか？何かが新しく登場してわれわれの生活を便利してくれることをイメージされるかもしれません。身近に当たり前のように普及してきている例で言えば...

人工知能と神経科学

他の秋のブログ週間連載と結構毛色が違うため、本記事を見て合わないと思った場合には他の記事でお口直しをお願いします…。秋の夜長に合う読み物、ということだったので、最近では身近になった「人工知能」とその隣人である「神経科学」について書こうと思います。

CEATEC 2020 ONLINE に参加します !!

2020年10月20日に開催される、CEATEC 2020 ONLINEにYDCと共同出展します。CEATECは、毎年10月に開催されているアジア最大級の規模の国際展示会です。