Future Tech Blog
フューチャー技術ブログ
DataScienceカテゴリ

第12回NLP若手の会シンポジウム　参加報告

はじめまして、7月からフューチャーアーキテクトで自然言語処理・人工知能分野の研究開発を担当している、Strategic R&Dチームの貞光です。

2017/9/3(日) ～ 2017/9/5(火) に開催された第12回NLP若手の会シンポジウム (YANS)にスポンサーとして参加してきました。

今年は沖縄那覇市での開催。
亜熱帯の包み込むような熱気にも負けず、若い研究者間での議論が大いに白熱していました。
本記事では白熱していた議論の様子に加え、個人的に気になった発表について紹介いたします。

http://yans.anlp.jp/entry/yans2017program

YANSならではの表彰

YANSでは若手研究者による一般ポスター発表と講師を招いた招待講演と、それに加えてスポンサー企業による口頭発表があります。

また、会議の最後に、参加者全員の投票によって奨励賞５件とデモ賞１件が表彰されます。
論文としての完成度を評価するのではなく、今後の発展性に期待する賞という位置づけとなっているのがYANSの特徴です。

表彰されたのは以下の発表です。おめでとうございます！

奨励賞

  • 活用情報を用いた日英ニューラル機械翻訳
    • 黒澤道希, 山岸駿秀, 松村雪桜, 小町守（首都大）
    • 日本語の活用情報によるスパースネスを解消するためのNMTの提案。活用情報をモデル内に取り入れることで、BLEUが向上したとのことです
  • オンライン環境下でのニューストピック検出への強化学習の応用
    • 大倉俊平（ヤフー株式会社）
    • 強化学習は、対話タスクにおいてMDP,POMDP等の手法が積極的に使われており、最近(2017/9/7)でも、Montreal大のBengio先生のグループが発表した、 Amazon Alexa Prize competition 向けのチャットボットに関する論文が注目を集めています[Serban+’17 1]。
      本研究はユーザへのニュースレコメンドに用いるためのトピック検出のために強化学習を用いた研究で、対話以外のNLPタスクで強化学習を用いたチャレンジ性が評価されたように思います
  • カーネル密度推定に基づく関係予測
    • 横井祥, 乾健太郎（東北大）
    • embeddingを用いた新しい類似度の提案。PMIの一般化とみなすことができる、という主張も含まれていました。横井さんは、YANS初の試みであるYoutubeの生中継レポーターとしても大活躍でした
  • 周辺文脈の集合による単語表現の獲得と関係抽出への応用
  • 濱口拓男（NAIST）, 大岩秀和（RIT）, 新保仁, 松本裕治（NAIST）
  • 発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現
    • 赤間怜奈, 渡邉研斗, 横井祥, 乾健太郎（東北大）

※最後の2件は、弊社スポンサー展示時間帯と重なっており、残念ながら聴講できませんでした。

デモ賞

  • deep-crf
    • 佐藤元紀, 能地宏, 松本裕治（NAIST）
    • Bi-directional-LSTM等のDNNによる基本的な系列ラベリング手法を包含したツールで、attention情報等の分析用付加情報も出してくれるUIを含め、とても良くできていました。

上記発表では常に多くの聴衆を集めており、今後の研究の進め方についてのサジェスションを含め、YANSならではの活発な議論がかわされていたように思います。

個人的に興味深かった発表

それ以外にも興味深い発表が多くありましたので、私の気になった発表について少しだけ紹介させていただきます。

  • 教師なし学習による分野特有の固有表現認識
    • 友利涼, 森信介（京大）
    • 教師なし・半教師ありの固有表現（Named Entity:NE)認識に対し、教師なし単語分割や形態素解析(Mochihashi+’09 2, Uchiumi+’15 3)等で用いられる階層Pitman-Yor過程を応用した研究です。
      IREXのような一般的なNEの体系ではなく、特定分野のNEの抽出、例えば「レシピ」や「将棋」といった特定ドメインに焦点をあてています。
      提案法の教師なし学習では、特定分野のコーパスに加え、一般分野のコーパスを疑似教師データとして与えています。この時、一般分野コーパス中の単語は全て１単語で分割され、かつ”O”ラベル(非NE)を付与するようにします。そうして作られた学習データを元に学習すると、特定分野において高頻度で出現する単語列を、潜在クラス=”NE”として抽出できるようになるという主張で、ベースラインに比べ大幅に精度が改善されたとのことです。
      事前にNEクラス数を与える必要があるという点や、個々のNEクラスで得意不得意があるようなので、その改善が課題とのことですが、応用範囲の広い技術だと思います。
  • エンコーダ・デコーダモデルを用いた画像の日本語キャプション生成のエラー分析
    • 白井稔久, 尾形朋哉, 小町守（首都大）
    • NLPにおける近年の重要なマイルストンとして、2015年、幅広いNLPタスクに対して誤り分析を行ったプロジェクトProject Next NLPがあります。
      プロジェクトの結果、価値のある誤り分析の知見がコミュニティにもたらされ、その後もエラー分析に関する試みは続いています。
      YANSでもいくつか、誤り分析の発表がありました。本発表は、エンコーダ・デコーダモデルを用いた画像からのキャプション生成のエラー分析に関するもので、誤りのタイプを定義した上でそれぞれの誤り割合を算出しています。
      例として、長い生成文になればなるほど、前に一度出現した単語が再度出現しやすくなる、というエラーが確認されたそうです。
  • 数量表現と比較に着目した意味解析に向けて
    • 佐々木翔大, 田然, 乾健太郎（東北大）
    • スーパーのチラシで、「本日大根100円セール！」のところを「本日大根1000円セール！」と誤記すると、誰もお客さんは寄ってきませんよね。これは、数量の常識を理解する問題、と言えます。
      この問題の一つに、個々のモノによって数量の常識的値のレンジが変化し、かつ多種多様なモノが世の中にスパースに存在する、という点が挙げられます。
      本発表では、モノそれ自体を条件として常識的値を付与するのではなく、モノをembeddingしたものを条件として値を推定する、というアプローチを取っています。
      残念ながら実験結果は良くなかったと報告されていましたが、その要因として、条件側となる文字列に対するembeddingを行う際、wikipediaから学習したword2vecを素直に用いた点が挙げられるかもしれません。
      例えば、周辺文脈の単語を全て用いるword2vecの構成方法ではなく、特に数値に対して重みをかけつつ embedding 空間を構成できれば、この課題を解決できるかもしれず、その点について著者の佐々木さんと少し議論させていただきました。

さいごに

最後のクロージングセッションで報告されたアンケートは、運営委員渾身の力作で、様々な観点から参加者の意見をうかがい知ることができました。
特に興味深かったのは、学生の就職先の希望に関するアンケートです。
なんと、参加者の約半数がNLP関連を希望する一方、残る半数はNLP以外を希望しているとのこと。

私自身、産業発展の観点で、NLP以外の関連技術を自由に組み合わせたR&Dにチャレンジしていきたいと思っています。

幸い、フューチャーアーキテクトには顧客毎の特徴的な、テキスト・画像・センサなど多数のデータが蓄積されており、チャレンジングな課題を持った人にとって、面白い環境だと思います。
もし、フューチャーアーキテクトについてご興味を持った方がいらっしゃいましたら、ぜひお気軽にご連絡ください！

弊社スポンサー発表の様子 アメニティグッズ（清涼タブレット） 海岸でのバーベキューの様子
  1. 1.[Serban+'17] Iulian V. Serban, Chinnadhurai Sankar, Mathieu Germain, Saizheng Zhang, Zhouhan Lin, Sandeep Subramanian, Taesup Kim, Michael Pieper, Sarath Chandar, Nan Rosemary Ke, Sai Mudumba, Alexandre de Brebisson, Jose M. R. Sotelo, Dendi Suhubdy, Vincent Michalski, Alexandre Nguyen, Joelle Pineau and Yoshua Bengio, "A Deep Reinforcement Learning Chatbot", arXiv:1709.02349, https://arxiv.org/abs/1709.02349 (2017) ↩
  2. 2.[Mochihashi+'09]Daichi Mochihashi, Takeshi Yamada and Naonori Ueda, "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling", Proceeding of the the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pages 100-108 (2009) ↩
  3. 3.[Uchiumi+'15]Kei Uchiumi, Hiroshi Tsukahara and Daichi Mochihashi, 2015, "Inducing Word and Part-of-Speech with Pitman-Yor Hidden Semi-Markov Models", Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pages 1774–1782 (2015) ↩