職務経歴書

2022/05/28時点

個人データ

Name	Tomoyuki Sumida
GitHub	T-Sumida
Twitter	@sumita_v09
Qiita	sumita_v09
Email	ui.suto05[at]gmail.com

概要

エンジニアとして4年の実務経験があります。内1年は組み込みエンジニアとして、車載プラットフォームの設計・開発を経験しました。

その後株式会社ワントゥーテンに入社し、機械学習エンジニアとしてインタラクティブコンテンツへの機械学習の導入などで企画立案・要件定義・設計・開発・運用までを一貫して担当しました。ここでは、単純な機械学習モデルの学習だけでなく、リアルタイムで動作するようなMLアプリケーションやWeb APIの設計・開発・運用までを担当しました。また、受託によるPoCからWebAPIの開発・運用などの業務や、会社の技術推進ロードマップ作成のための機械学習技術のリサーチなども担当しました。

技術

• インフラの構築管理
  • ネットワークやインフラ技術の基礎的な知識
  • AWS, GCP等のクラウドプラットフォームの活用
• 機械学習モデルの構築・運用の経験
  • 画像認識におけるPoC・開発・API化・運用の経験
  • 自然言語処理（fasttextなど）を用いたwebアプリケーションの設計・開発の経験
  • 信号処理と機械学習を用いたリアルタイムアプリケーションの設計・開発・運用の経験
  • クラウドプラットフォームを用いた学習パイプライン構築の経験
  • LLMを用いた対話エージェント、アイテム推薦エージェント開発の経験
• バックエンド開発の能力
  • Dockerを用いたWebAPIの構築の経験
  • zmqを用いたブラックボードアーキテクチャの設計・開発の経験
  • Python,PHP,JavaScriptなどのプログラミング言語の経験
  • Flask,FastAPI,Bottle,CakePHPなどのフレームワークの経験
• データエンジニアリングの能力
  • GCP上での簡易的なデータ解析基盤作成の経験
  • 非構造データ（画像など）の解析結果を収集するログ基盤作成の経験
  • fluentd,embulkなどの経験
• 開発手法
  • ウォーターフォール型の開発経験
  • アジャイルによる開発経験
  • 要件定義からテストまでの開発構築の担当経験
• その他
  • 技術
    • Reactを用いた機械学習サービスの簡易モックの作成経験
    • 公開学習済みモデルを用いたラピッドプロトタイピングの経験
    • C/C++を用いた組み込みLinuxプログラミングの経験
  • 技術以外
    • GitHub等を用いた開発プロジェクトの管理
    • GitHub Actionsなどを用いたCI環境の構築、メンテナンス
    • 受託開発における顧客折衝の経験
    • 企画立案時からの機械学習サービス設計の経験
    • エンジニア採用の経験

職務経歴

株式会社ワントゥーテン

正社員として2019年6月～現在の間勤務

ChatGPTを用いた対話エージェントの開発

• プロジェクト概要

  • ユーザーとの会話を通じて推奨アイテムを提示するエージェントシステムを開発した。具体的には、Unityで動作するフロントエンドがユーザーの会話を音声認識で取得する。その後、この会話をAPI経由でバックエンドに送信し、推奨アイテムを含む返答を生成する。
  • 関連するTech blog

• 担当領域

  • 械学習エンジニア兼バックエンドエンジニア
  • PoC、モデリング、システム設計・開発、運用を担当

• やったこと

  • PoCとしてgpt3.5-turboを使ったアイテム推薦エージェントをの作成を行い、社内の幅広い層に試してもらうためCloud Functions上にデモを構築

  • 定量的な性能評価を行うためにプランナーと相談して会話ケースの洗い出しと自動テストの仕組みを実装

  • ローカル環境とクラウド環境で稼働するようDockerとFastAPIを用いてモノリシックな設計を採用

  • 将来的に他のエンジニアがメンテナンスや改良を行うことを視野に入れ、コンポーネント図、シーケンス図、API仕様書といったドキュメンテーションを作成

  • APIの安定性向上のために、OpenAIのサービスからAzure OpenAI ServiceのAPIへの切り替えを提案しシステムの安定性を推進

  • 推奨するアイテムについて、Googleスプレッドシートから容易に変更できるような仕組みを実装（この仕組みは、アイテムの名前等の項目を修正や追加した場合でも、コードの修正なしで反映可能となっている）

  • イベント出展後、ログを分析・整形し、体験者数、体験時間、会話回数などの情報を役員向けに報告し、実際の会話ログを分析してHallucinationの発生頻度や音声認識の精度などを定量的に評価。結果をチーム全体にフィードバックして品質向上を推進

  • gpt3.5-turboではHallucination（幻覚）が起こるという問題があり、その結果として推薦対象以外のアイテムを勝手に推薦する問題に対して、プロンプトのチューニングおよびこのチューニングの改善サイクルが迅速に行えるようなシステムとUIを開発し、開発工数の削減を実現

  • LLMではよく使われる「Retriever」のような手法では、想定する会話ケースでのアイテム検索の精度が顕著に低下するという問題があった。この問題に対処するために、ElasticSearchを使用したワード検索とベクトル検索の両方を組み合わせた手法を実装して幻覚率を3%未満に抑制

• 使用技術

  • Python3.10,ChatGPT,Docker,FastAPI,GCP,api,Google Cloud Functions,ElasticSearch

ニコニコ超会議：ナツネイターの開発

• プロジェクト概要
  • タッチパネルによる選択式の書籍推薦コンテンツへ機械学習を導入し、コンテンツ体験者の位置・表情解析結果・年齢性別解析結果を提供するAPIの開発を行いました。具体的には、エッジ端末上でWebカメラ画角内の人物位置や表情解析の結果などをAPIで提供し、コンテンツのアニメーションや会話遷移に反映しました。
  • PRTimes
• 担当領域
  • 企画立案・要件定義・モデリング・システム設計・開発、システム運用、データ分析
• やったこと
  • 年齢・性別モデルのチューニング
  • FastAPIによるMLAPIの設計・開発
  • 本番環境を想定したデバッグGUIの開発
  • GitHubでの開発管理の導入（他メンバーのサポート）
  • コンテンツ開発者との連携・API仕様策定
  • 現場でのWebカメラ調整（照明・画角の調整）
  • コンテンツの利用頻度などの複数のメトリクスを収集できるような仕組みの導入・開発
• 使用技術
  • Python3.8,ONNX,GitHub,Asta,OpenCV,Tensorflow,FastAPI,GCP,LookerStudio

二条城夜会

• プロジェクト概要
  • 下記LIDARを用いた空間活性度認識エンジンの開発と同様の仕組みを移植し、二条城城内のプロジェクションマッピングしているエリアの人流の活性度を計測するシステムの開発を行った。
  • Youtube
  • 社内広報
• 担当領域
  • 企画立案・要件定義・モデリング・システム設計・開発（移植）
• やったこと
  • 活性度推定モデルの再学習
  • センサー変更に伴うプログラムの改修
  • 本番環境を想定したデバッグツールの開発
  • GitHubでの開発管理の導入（他メンバーのサポート）
  • コンテンツ開発者との連携・通信仕様策定
• 使用技術
  • Python3.8,Tensorflow,hydra,OpenCV,streamlit,scikit-learn,MLFlow,Asta,GitHub,zmq,gRPC

受付AIエージェントの開発

• プロジェクト概要
  • 音声での対話が可能な接客バーチャルヒューマンへ機械学習を導入し、とくにバーチャルヒューマンの”目”の部分で貢献しました。具体的には、下記空間人認識カメラの機能の拡張としてエッジ端末上での顔登録機能などを追加し、他コンポーネント（STTやTTSなど）との連携ができるように開発しました。画像回り以外でも、プロジェクト管理や独自フレームワークの開発なども行いました。
  • Youtube
• 担当領域
  • 企画立案・要件定義・モデリング・システム設計・開発
• やったこと
  • 受付AIエージェントの要件に特化したモデルのチューニング
  • Face Feature Extractionモデルの学習
  • 映像・音声を同期的に収集するツールの開発
  • GitHubでの開発管理の導入（他メンバーのサポート）
  • ブラックボードフレームワークの開発
• 使用技術
  • Python3.8,Tensorflow,ONNX,hydra,MLFlow,Asta,GitHub,zmq,OpenCV

空間人認識カメラの開発

• プロジェクト概要
  • 既存もしくは新規開発されたインタラクティブコンテンツへ機械学習を導入し、コンテンツ体験者を解析・効果測定するようなAIカメラの開発を行いました。具体的には、エッジ端末上で画角内の人物位置や年齢・性別・滞在時間などを計測してログに保存するようなモデルとシステムの開発を行いました。
• 担当領域
  • 企画立案・要件定義・モデリング・システム設計・開発
• やったこと
  • 顔画像データ収集ツールの開発
  • Tensorflowでの複数種類のモデルの実装・学習
  • 学習済みモデルの最適化とONNX化
  • GCP上での簡易的なデータ解析基盤開発（プロジェクトによってはネットワークがないため使用しない）
• 使用技術
  • Python3.8,Tensorflow,ONNX,hydra,MLFlow,Asta,GitHub,OpenCV,GCP,embulk

楽曲ジャンル判定システムの開発

• プロジェクト概要
  • エンタテインメント・プロジェクションマッピングシステムへ機械学習を導入し、プロジェクションマッピングの表現の多様化に貢献しました。 具体的には、オンプレ上でリアルタイムに入力される音源を楽曲と歌声に分離し、その楽曲音源から5つのジャンル（PopやRockなど）を推論して結果を表現描画システムに送信するといったものです。
• 担当領域
  • 要件のヒアリングから機械学習の利活用の提案・PoC・リアルタイムアプリケーションの設計・開発
• やったこと
  • Astaを用いてコンポーネント図・シーケンス図・アクティビティ図を作成
  • streamlitを使ったマネージャー達への簡易デモの作成
  • 商用利用なデータセットでベースラインを構築し、実環境に近いデータセットでチューニングを実施（目標メトリクスを達成）
  • Tensorflowを用いたSound Event Detectionモデルの実装・学習
• 使用技術
  • Docker,Python3.8,Tensorflow,librosa,hydra,streamlit,MLFlow,Asta,GitHub,OSC

LIDARを用いた空間活性度認識エンジンの開発

• プロジェクト概要
  • 砂浜上でのエンタテインメント・プロジェクションマッピングシステムへ機械学習を導入し、プロジェクションマッピングの表現の多様化に貢献しました。 具体的には、浜辺に複数設置されたLIDARセンサーから送信されるデータを機械学習でリアルタイムに推論し、現在の浜辺の活性情報（「活発に動いている人が多い」や「ゆったり歩いている」など）を表現描画システムに送信するといったものです。
  • Youtube
• 担当領域
  • 要件のヒアリングから機械学習の利活用の提案・PoC・リアルタイムアプリケーションの設計・開発
• やったこと
  • データ収集のための映像・LAIDAR信号を同期して収集するツールの開発
  • データ拡張のためにデータセットの分布に似たデータを再現するようなシミュレーターを開発（非常にデータ数が少なかったため）
  • Tensorflowを用いたモデルの実装・学習
  • ドキュメントの整備（導入マニュアルやエラー時対応マニュアルなど）
  • MLOpsの観点で、システム動作中にセンシング値を日付とともに保持する機能の開発
• 使用技術
  • Docker,Python3.8,Tensorflow,hydra,OpenCV,streamlit,scikit-learn,MLFlow,Asta,GitHub,OSC,gRPC,ELAN

スタイル変換を用いたインタラクティブコンテンツの開発

• プロジェクト概要
  • スタイル変換を用いた体験型インタラクティブコンテンツを開発しました。加えて、体験したユーザの性別と年齢を推論するモデルの開発と、それらのユーザー情報と体験時間やアクション回数などを蓄積するログシステムの開発を行いました。 具体的には、機械学習モデルとしてStyle TransferモデルとAge-Gender Estimateモデルを開発し、それらをWeb APIとして実装しました。また、ユーザーの属性や行動を入力とするWeb APIを構築し、内部でセッション時間などを計算・整形・出力するログシステムを実装しました。
• 担当領域
  • 企画立案・要件定義・モデリング・システム設計・開発
• やったこと
  • 他メンバーへの機械学習利活用情報の共有（イメージしやすいCHIの事例など）
  • PyTorchでのリアルタイムスタイルトランスファーの実装・学習
  • TensorflowでのAge and Gender Estimateモデルの実装・学習、Tensorflow-Servingを用いたデプロイ
  • コンテンツ終了後にログを解析して経営層にレポートを提出
• 使用技術
  • Docker,Python3.8,Tensorflow,Tensorflow Serving,PyTorch,OpenCV,MLFlow,Asta,GitHub,FastAPI

医療系画像認識エンジンの開発

• プロジェクト概要
  • ユーザーの口腔状態を判定するWebサービスにおける、画像認識エンジンを開発しました。 具体的には、スマートフォンで撮影した口腔写真を専門家の知見を学習させた複数の認識モデルに入力し、それらのモデルの結果からルールベースでオススメ商品を提案するものです。
• 担当領域
  • PoC・顧客折衝・設計・開発・テスト・運用
• やったこと
  • PoCにおける結果・進捗レポートの作成と顧客への説明
  • 各種仕様書の作成と他部署・顧客との合意形成
  • Tensorflowでのさまざまなモデルの実装・学習（メトリクスラーニングや異常検知手法など）
  • 他部署と連携したBigQueryを用いた画像収集基盤とモデル監視機能の開発
• 使用技術
  • Docker,Python3.7,Tensorflow,GCP,OpenCV,MLFlow,Asta,GitHub,Flask

株式会社NTTデータMSE

正社員として2018年4月～2019年3月

車載プラットフォームのコンポーネント開発

• プロジェクト概要
  • 組み込みエンジニアとして、車載プラットフォームの設計・開発に従事していました。
• 担当領域
  • 基本設計・詳細設計・実装・単体テスト・結合テスト
• やったこと
  • 上位設計書からの担当コンポーネントの設計
  • 独自のテストフレームワークを使用した自動テストを構成
• 使用技術
  • Docker,C/C++,gcc,make

最終学歴

学校名

京都産業大学大学院　先端情報学研究科　先端情報専攻

卒業年月

2018年3月

研究内容

音響信号処理と機械学習を用いた、浴槽をユーザインタフェース提案研究に従事していました。

浴槽縁を”叩く”場合の叩き方（ノックや爪で叩くなど）をユーザイベントとするためリアルタイムデジタル信号処理と機械学習（NMFやDNN）手法を提案しました。 また、浴槽の叩く位置・叩き方・叩くリズムの3つのイベントを用いたユーザインタフェース・アプリケーションのの構築と、それらのユーザ評価を実施しました。

RapTapBath

動画

研究業績・受賞歴

Date	Event
2016	快適IoT2015　グランプリ受賞
2016	音楽情報処理研究会　査読なし、デモ発表
2016	インタラクション2016　査読あり、デモ発表
2016	CEDEC2016　査読あり、登壇発表
2017	Advances in Computer Entertainment Technology 2016　査読あり、creative showcase
2017	インタラクション2017　査読あり、登壇発表
2017	ISS:Interactive Surface and Spaces 2017　査読あり、登壇発表
2022	ヒューマンインタフェース学会論文誌 ジャーナル論文採択