English/Japanese

牛久 祥孝

定常的コンテンツ

講演資料

画像キャプションの自動生成 from 牛久 祥孝
Deep Learning による視覚×言語融合の最前線 from 牛久 祥孝

小ネタ

学歴

2009年3月
東京大学 工学部 機械情報工学科 卒業
2011年3月
東京大学 大学院情報理工学系研究科 知能機械情報学専攻 修士課程修了
2014年3月
東京大学 大学院情報理工学系研究科 知能機械情報学専攻 博士課程修了 博士(情報理工学)

職歴

2013年4月-2014年3月
日本学術振興会 特別研究員(DC2)
2013年6月-2013年8月
Microsoft Research Redmond Intern
2014年4月-2016年3月
日本電信電話株式会社 コミュニケーション科学基礎研究所 研究員
2016年4月-2018年9月
東京大学 大学院情報理工学系研究科 知能機械情報学専攻 講師
2016年9月-現在
国立研究開発法人産業技術総合研究所 協力研究員
2016年12月-2018年9月
大学共同利用機関法人 人間文化研究機構 国立国語研究所 共同研究員
2018年4月-2018年9月
オムロンサイニックエックス株式会社 技術アドバイザ
2018年10月-現在
オムロンサイニックエックス株式会社 プリンシパルインベスティゲーター (インターン常時募集中)

活動歴

2017年8月
画像の 認識・理解シンポジウム (MIRU) 若手プログラム実行委員
2018年6月
International Conference on Multimedia Retrieval (ICMR 2018) Publication Co-chairs
2018年8月
画像の 認識・理解シンポジウム (MIRU) 若手プログラム実行委員長
2016年4月-現在
コンピュータビジョン勉強会@関東 幹事
2017年6月-現在
電子情報通信学会 学会誌編集委員会 編集委員
2017年6月-現在
電子情報通信学会 パターン認識・メディア理解研究会(PRMU) 専門委員
2018年6月-現在
電子情報通信学会 パターン認識・メディア理解研究会(PRMU) 幹事補佐

所属

オムロンサイニックエックス株式会社
リサーチアドミニストレイティブディビジョン

連絡先

論文

国際学会 (査読付き)

  1. Kohei Uehara, Antonio Tejero-de-Pablos, Yoshitaka Ushiku, Tatsuya Harada. Visual Question Generation for Class Acquisition of Unknown Objects. The 15th European Conference on Computer Vision (ECCV), 2018.
  2. Kuniaki Saito, Shohei Yamamoto, Yoshitaka Ushiku, Tatsuya Harada. Open Set Domain Adaptation by Backpropagation. The 15th European Conference on Computer Vision (ECCV), 2018.
  3. Andrew Shin, Yoshitaka Ushiku, Tatsuya Harada. Customized Image Narrative Generation via Interactive Visual Question Generation and Answering. The 31th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018. (spotlight presentation)
  4. Atsushi Kanehira, Luc Van Gool, Yoshitaka Ushiku, Tatsuya Harada. Viewpoint-aware Video Summarization. The 31th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018. (spotlight presentation)
  5. Hiroharu Kato, Yoshitaka Ushiku, Tatsuya Harada. Neural 3D Mesh Renderer. The 31th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018. (spotlight presentation)
  6. Kuniaki Saito, Kohei Watanabe, Yoshitaka Ushiku, Tatsuya Harada. Maximum Classifier Discrepancy for Unsupervised Domain Adaptation. The 31th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018. (oral presentation)
  7. Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada. Between-class Learning for Image Classification. The 31th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2018..
  8. Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada, Kate Saenko. Adversarial Dropout Regularization. The 6th International Conference on Learning Representations (ICLR), 2018.
  9. Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada. Learning from Between-class Examples for Deep Sound Recognition. The 6th International Conference on Learning Representations (ICLR), 2018.
  10. Katsunori Ohnishi, Shohei Yamamoto, Yoshitaka Ushiku, Tatsuya Harada. Hierarchical Video Generation from Orthogonal Information: Optical Flow and Texture. AAAI Conference on Artificial Intelligence (AAAI), 2018. (oral presentation)
  11. Yusuke Mukuta, Yoshitaka Ushiku, Tatsuya Harada. Alternating Circulant Random Features for Semigroup Kernels. AAAI Conference on Artificial Intelligence (AAAI), 2018.
  12. Masatoshi Hidaka, Yuichiro Kikura, Yoshitaka Ushiku, Tatsuya Harada. WebDNN: Fastest DNN Execution Framework on Web Browser. ACM International Conference on Multimedia (ACMMM), Open Source Software Competition, pp.1213-1216, 2017.
  13. Masataka Yamaguchi, Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada. Spatio-temporal Person Retrieval via Natural Language Queries. IEEE International Conference on Computer Vision (ICCV), 2017.
  14. Qishen Ha, Kohei Watanabe, Takumi Karasawa, Yoshitaka Ushiku, Tatsuya Harada. MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spectral Scenes. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017.
  15. Kuniaki Saito, Yoshitaka Ushiku, and Tatsuya Harada. Asymmetric Tri-training for Unsupervised Domain Adaptation. International Conference on Machine Learning (ICML), pp.2988-2997, 2017.
  16. Kuniaki Saito, Andrew Shin, Yoshitaka Ushiku, and Tatsuya Harada. DualNet: Domain-Invariant Network for Visual Question Answering. IEEE International Conference on Multimedia and Expo (ICME), pp.829-834, 2017. (oral presentation)
  17. Andrew Shin, Yoshitaka Ushiku, and Tatsuya Harada. Image Captioning with Sentiment Terms via Weakly-Supervised Sentiment Dataset. British Machine Vision Conference (BMVC), pp.53.1-53.12, 2016.
  18. Yoshitaka Ushiku, Masataka Yamaguchi, Yusuke Mukuta, and Tatsuya Harada. Common subspace for model and similarity: Phrase learning for caption generation from images. IEEE International Conference on Computer Vision (ICCV), pp.2668-2676, 2015. (acceptance rate: 30.9%)
  19. Yoshitaka Ushiku, Masatoshi Hidaka, and Tatsuya Harada. Three guidelines of online learning for large-scale visual recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.3574-3581, 2014. (acceptance rate: 29.9%)
  20. Asako Kanezaki, Shogo Inaba, Yoshitaka Ushiku, Yukihiko Yamashita, Hiroaki Muraoka, Yasuo Kuniyoshi, and Tatsuya Harada. Hard negative classes for multiple object detection. IEEE International Conference on Robotics and Automation (ICRA), pp.3066-3073, 2014.
  21. Yoshitaka Ushiku, Tatsuya Harada, and Yasuo Kuniyoshi. Efficient Image Annotation for Automatic Sentence Generation. ACM International Conference on Multimedia (ACMMM), pp.549-558, 2012. (full paper, acceptance rate: 20.2%)
  22. Yoshitaka Ushiku, Tatsuya Harada, and Yasuo Kuniyoshi. Understanding Images with Natural Sentences. ACM International Conference on Multimedia (ACMMM), Multimedia Grand Challenge, pp.679-682, 2011. (Special Prize on the Best Application of a Theoretical Framework) [pdf]
  23. Yoshitaka Ushiku, Tatsuya Harada, and Yasuo Kuniyoshi. Automatic Sentence Generation from Images. ACM International Conference on Multimedia (ACMMM), pp.1533-1536, 2011. (short, acceptance rate: usually 30%) [pdf]
  24. Tatsuya Harada, Yoshitaka Ushiku, Yuya Yamashita, and Yasuo Kuniyoshi. Discriminative Spatial Pyramid. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1617-1624, 2011. (acceptance rate: 26.4%) [pdf]
  25. Yoshitaka Ushiku, Tatsuya Harada, and Yasuo Kuniyoshi. Improvement of Image Similarity Measures for Image Browsing and Retrieval Via Latent Space Learning between Images and Long Texts. IEEE International Conference on Image Processing (ICIP), pp.2365-2368, 2010. [pdf]

国際学会 (査読無し、ワークショップ)

  1. Kuniaki Saito, Yusuke Mukuta, Yoshitaka Ushiku, Tatsuya Harada. Deep Modality Invariant Adversarial Network for Shared Representation Learning. The 16th International Conference on Computer Vision Workshop on Transferring and Adapting Source Knowledge in Computer Vision (ICCV, Workshop), 2017.
  2. Yusuke Mukuta, Yoshitaka Ushiku, Tatsuya Harada. Spatial-Temporal Weighted Pyramid using Spatial Orthogonal Pooling. The 16th International Conference on Computer Vision Workshop on Compact and Efficient Feature Representation and Learning in Computer Vision (ICCV, Workshop), 2017.
  3. Takumi Karasawa, Kohei Watanabe, Qishen Ha, Antonio Tejero-De-Pablos, Yoshitaka Ushiku, Tatsuya Harada. Multispectral Object Detection for Autonomous Vehicles. The 25th Annual ACM International Conference on Multimedia (ACMMM), 2017, (workshop).
  4. Yoshitaka Ushiku, Hiroshi Muraoka, Sho Inaba, Teppei Fujisawa, Koki Yasumoto, Naoyuki Gunji, Takayuki Higuchi, Yuko Hara, Tatsuya Harada, and Yasuo Kuniyoshi. ISI at ImageCLEF 2012: Scalable System for Image Annotation. the 3rd Conference and Labs of the Evaluation Forum (CLEF 2012), pp.1-12, 2012.

技術報告

  1. Andrew Shin, Yoshitaka Ushiku, and Tatsuya Harada. The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA). arXiv, 1609.06657, 2016.

国内論文誌 (査読付き)

  1. 牛久祥孝,原田達也,國吉康夫. 画像・長文からの潜在空間獲得による画像間類似度の改善. 情報処理学会論文誌 (IPSJ), Vol.52, No.12, pp.3496-3503, 2011. [pdf]

国内学会 (査読付き)

  1. Ryuei Murata, Akisato Kimura, Yoshitaka Ushiku, Takayoshi Yamashita, Yuji Yamauchi, and Hironobu Fujiyoshi. Online Learning Based on Mondrian Forests in Parallel Distributed Processing. 画像の認識・理解シンポジウム (MIRU), OS2-05, 2016.
  2. 牛久祥孝, 原田達也, 國吉康夫. キーフレーズ推定と文法モデルによる画像説明文生成. 画像の認識・理解シンポジウム (MIRU), IS2-05(OS3-01), 2012. (長尾賞(最優秀賞)候補論文)
  3. 牛久祥孝, 原田達也, 國吉康夫. 画像・文章間の類似度学習による画像説明文の自動生成. 画像の認識・理解シンポジウム (MIRU), pp.365-372, 2011. (MIRU2011インタラクティブセッション賞) [pdf]
  4. 牛久祥孝, 原田達也, 國吉康夫. 画像・長文からの潜在空間獲得による画像間類似度の改善. 画像の 認識・理解シンポジウム (MIRU), pp.1153-1160, 2010. [pdf]

国内学会 (査読無し)

  1. 川口維文, 牛久祥孝, Anna Zhu, 内田誠一. Show, Read with Attention, and Tell.画像の認識・理解シンポジウム (MIRU), PS3-28, 2017.
  2. 村田隆英, 木村昭悟, 牛久祥孝, 山下隆義, 山内悠嗣, 藤吉弘亘. 教師あり学習の導入によるMondrian Forestsの効率化. 電子情報通信学会 パターン認識・メディア理解研究会(PRMU), pp.191-196, 2016.
  3. 牛久祥孝, 木村昭悟, 柏野邦夫. 時刻に基づく画像検索のための反復構造の自動抽出. 画像の認識・理解シンポジウム (MIRU), SS4-26, 2015.
  4. 郡司直之, 樋口貴之, 安本晃基, 村岡宏是, 牛久祥孝, 原田達也, 國吉康夫. 数の画像特徴とPassive-Aggressiveを用いたfine-grained classification. 電子情報通信学会 パターン認識・メディア理解研究会(PRMU), pp.25-30, 2013.
  5. 金崎朝子, 稲葉翔, 牛久祥孝, 山下裕也, 村岡宏是, 原田達也, 國吉康夫. 大規模画像データセットを用いたマルチクラス物体検出器の同時学習 物体毎に特化した負例クラスの導入. 電子情報通信学会 パターン認識・メディア理解研究会(PRMU), pp.105-112, 2012.
  6. 牛久祥孝, 山下裕也, 井村純, 中山英樹, 原田達也, 國吉康夫. 複数画像特徴とクラスラベルの相関に着目した距離計量による大規模画像分類. 電子情報通信学会 パターン認識・メディア理解研究会(PRMU), pp.1-6, 2011. (2010PRMU研究奨励賞) [pdf]
  7. 牛久祥孝, 中山英樹, 原田達也, 國吉康夫. Web画像と文章の大域的特徴から得る潜在的意味に基づくデータ検索 Web上での一般画像認識実現への新たなアプローチを目指して. 電子情報通信学会 パターン認識・メディア理解研究会(PRMU), pp.45-50, 2009. [pdf]

解説記事・書籍

  1. 【解説記事】牛久祥孝. TBA. 光学. TBA.
  2. 【解説記事ゲストエディタ】牛久祥孝. 視覚・言語融合の最前線. 映像情報メディア学会誌. TBA.
  3. 【解説記事】牛久祥孝. 画像・動画キャプション生成. 映像情報メディア学会誌. TBA.
  4. 【書籍】米谷竜, 斎藤英雄編著, 池畑諭, 牛久祥孝, 内山英昭, 内海ゆづ子, 小野峻佑, 片岡裕雄, 金崎朝子, 川西康友, 齋藤真樹, 櫻田健, 高橋康輔, 松井勇佑. コンピュータビジョン―広がる要素技術と応用. 未来へつなぐデジタルシリーズ, 37巻, 共立出版, 2018.
  5. 【解説記事】牛久祥孝. 私のブックマーク 視覚と自然言語の融合研究. 人工知能:人工知能学会誌. Vol.32, No.1, pp.136-143, 2016.
  6. 【解説記事】牛久祥孝. ACM Multimedia 参加報告. 情報処理. Vol.56, No.3, p.286, 2015.

基調講演・招待講演

  1. 【招待講演】牛久祥孝. TBA. 人工知能学会 言語・音声理解と対話処理研究会(SIG-SLUD), TBA.
  2. 【招待講演】牛久祥孝. 敵対的学習による動画生成とドメイン適応. 人工知能学会 第76回人工知能セミナー, 2018/8/27.
  3. 【招待講演】牛久祥孝. Deep Learningによる視覚・言語融合の最前線. 精密工学会 画像応用技術専門委員会(IAIP), 2018/7/13.
  4. 【招待講演】牛久祥孝. 視覚と言葉をつなげる技術. 情報処理学会 IPSJ-ONE, 2018/3/15.
  5. 【招待講演】牛久祥孝. Deep Learningによる視覚・言語融合の最前線. 情報処理学会 コンピュータビジョンとイメージメディア研究会(CVIM), 2018/3/2.
  6. 【招待講演】牛久祥孝. Deep Learningによる視覚・言語融合の最前線. 映像情報メディア学会 冬季大会, 2017/12/13.
  7. 【招待講演】牛久祥孝. Deep Learningによる視覚・言語融合の最前線. 画像符号化シンポジウム(PCSJ) / 映像メディア処理シンポジウム(IMPS), 2017/11/22.
  8. 【招待講演】牛久祥孝. Deep Learningによる視覚・言語融合の最前線. 中部大学 藤吉弘亘教授 総監修 深層学習の基礎と最新動向~画像認識・音声認識・自然言語処理による深層学習とその融合、生成、強化学習, 2017/11/21.
  9. 【基調講演】Yoshitaka Ushiku. Frontiers of Vision and Language: Bridging Images and Texts by Deep Learning. Workshop of Machine Learning under International Conference on Document Analysis and Recognition, 2017/11/11.
  10. 【招待講演】Kuniaki Saito, Yoshitaka Ushiku, and Tatsuya Harada. Asymmetric Tri-training for Unsupervised Domain Adaptation. International Conference on Machine Learning. 第20回画像の認識・理解シンポジウム, 2017/08/10.
  11. 【招待講演】牛久祥孝. Deep Learning による視覚×言語融合の最前線. ABEJA Technopreneur College, 2017/06/30.
  12. 【招待講演】Yoshitaka Ushiku. Recognize, Describe, and Generate: Introduction of Recent Work at MIL. GPU Technology Conference, 2017/05/11.
  13. 【招待講演】牛久祥孝. Deep Learning による視覚×言語融合の最前線. 電子情報通信学会総合大会 企画講演セッション「もっと知りたい! Deep Learning 〜基礎から活用ノウハウ,応用まで〜」, 2017/03/22.
  14. 【招待講演】牛久祥孝. 視覚×言語の最前線. ステアラボ人工知能シンポジウム, 2017/03/12.
  15. 【招待講演】牛久祥孝. 画像キャプションの自動生成. 第16回全脳アーキテクチャ勉強会~人工知能は意味をどう獲得するのか~@リクルートテクノロジーズ, 2016/10/12.
  16. 【招待講演】Yoshitaka Ushiku, Masataka Yamaguchi, Yusuke Mukuta, and Tatsuya Harada. Common subspace for model and similarity: Phrase learning for caption generation from images. 第19回画像の認識・理解シンポジウム, 2016/08/02.
  17. 【招待講演】牛久祥孝. 画像キャプションの自動生成. 第19回画像の認識・理解シンポジウム (チュートリアルセッション), 2016/08/01.
  18. 【招待講演】牛久祥孝. 画像キャプションの自動生成. 第3回ステアラボ人工知能セミナー@千葉工業大学 (スカイツリータウン), 2016/06/29.
  19. 【招待講演】牛久祥孝. 画像キャプションの自動生成. 人工知能セミナー第7回 「自然言語処理のAIの最新動向」@産総研, 2016/06/21.
  20. 【招待講演】牛久祥孝. 画像キャプションの自動生成. 確率場と深層学習に関する第1回CRESTシンポジウム@早稲田大学, 2016/01/13.
  21. 【招待講演】Yoshitaka Ushiku, Tatsuya Harada, and Yasuo Kuniyoshi. Efficient Image Annotation for Automatic Sentence Generation. Greater Tokyo Area Multimedia/Vision Workshop, 2012/08/30.

受賞およびコンペティション

  1. 2017. Honorable Mention. ACM Multimedia Open Source Software Competition.
  2. 2016. First place in the abstract image task. Visual Question Answering Challenge 2016.
  3. 2012. First place in the fine-grained classification task, second place in the classification task. Large Scale Visual Recognition Challenge 2012 (ILSVRC2012).
  4. 2011. Special Prize on the Best Application of a Theoretical Framework. ACM Mutlimedia Grand Challenge.
  5. 2011. Third place in the classification task, second place in the detection task. Large Scale Visual Recognition Challenge 2011 (ILSVRC2011).
  6. 2011. インタラクティブセッション賞. 画像の認識理解シンポジウム (MIRU2011).
  7. 2010. 研究奨励賞. 電子情報通信学会パターン認識・マルチメディア理解研究会 (PRMU).
  8. 2010. Third place. Large Scale Visual Recognition Challenge 2010 (ILSVRC2010).