My Profile

Shun Kiyono / 清野 舜

国立研究開発法人理化学研究所 革新知能統合研究センター 自然言語理解チーム

RIKEN Center for Advanced Intelligence Project: Natural Language Understanding Team

Education

2017-2019 東北大学大学院 情報科学研究科 システム情報科学専攻 博士前期課程 修了
Master of Information Sciences
Graduate School of Information Sciences, Tohoku University
Advisor 乾 健太郎 / Kentaro Inui & 鈴木 潤 / Jun Suzuki
2013-2017 東北大学 工学部 情報知能システム総合学科 卒業
Bachelor of Engineering
Department of Information and Intelligent Systems, Tohoku University
Advisor 乾 健太郎 / Kentaro Inui
2009-2012 デュッセルドルフ インターナショナルスクール
International School of Düsseldorf

Publications

International Conference

Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction
Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, Kentaro Inui
(to appear) Proceedings of the 58th Conference of the Association for Computational Linguistics (ACL2020), July 2020
pdf code
Image
ESPnet-ST: All-in-One Speech Translation Toolkit
Hirofumi Inaguma, Shun Kiyono, Kevin Duh, Shigeki Karita, Nelson Enrique Yalta Soplin, Tomoki Hayashi, Shinji Watanabe
(to appear) Proceedings of the 58th Conference of the Association for Computational Linguistics: System Demonstrations (ACL2020 Demo), July 2020
pdf code
Image
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, Kentaro Inui
2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP2019), 2019
pdf code
Image
Effective Adversarial Regularization for Neural Machine Translation
Motoki Sato, Jun Suzuki, Shun Kiyono
Proceedings of the 57th Conference of the Association for Computational Linguistics (ACL2019), July 2019
pdf code
Image
Mixture of Expert/Imitator Networks: Scalable Semi-supervised Learning Framework
Shun Kiyono, Jun Suzuki, Kentaro Inui
The Thirty-Third AAAI Conference on Artificial Intelligence (AAAI2019), January 2019
pdf poster spotlight
Image
Reducing Odd Generation from Neural Headline Generation
Shun Kiyono, Sho Takase, Jun Suzuki, Naoaki Okazaki, Kentaro Inui, Masaaki Nagata
32nd Pacific Asia Conference on Language, Information and Computation (PACLIC 32), December 2018
pdf
Image
Unsupervised Token-wise Alignment to Improve Interpretation of Encoder-Decoder Models
Shun Kiyono, Sho Takase, Jun Suzuki, Naoaki Okazaki, Kentaro Inui, Masaaki Nagata
Analyzing and Interpreting Neural Networks for NLP (EMNLP2018 Workshop), November 2018
pdf
Image

Domestic Conference

  • 清野 舜, 鈴木 潤, 三田 雅人, 水本 智也, 乾 健太郎. 大規模疑似データを用いた高性能文法誤り訂正モデルの構築. 言語処理学会第26回年次大会予稿集. March. 2020. pdf slide 優秀賞
  • 今野 颯人, 松林 優一郎, 清野 舜, 大内 啓樹, 高橋 諒, 乾 健太郎. マスク言語モデルを利用したデータ拡張に基づく日本語文内ゼロ照応解析. 言語処理学会第26回年次大会予稿集. March. 2020. pdf
  • 三田 雅人, 清野 舜, 金子 正弘, 鈴木 潤, 乾 健太郎. 文法誤り訂正のための自己改良戦略に基づくノイズ除去. 言語処理学会第26回年次大会予稿集. March. 2020. pdf
  • 宮脇 峻平, 清野 舜, 松林 優一郎, 今野 颯人, 高橋 諒, 大内 啓樹, 乾 健太郎. 反復改良法を用いた日本語述語項構造解析. 言語処理学会第26回年次大会予稿集. March. 2020. pdf
  • 今野 颯人, 松林 優一郎, 清野 舜, 高橋 諒, 大内 啓樹, 乾 健太郎. BERTによる擬似訓練データ生成に基づく述語項構造解析. 第14回NLP若手の会 シンポジウム. August. 2019.
  • 宮脇 峻平, 加藤 拓真, 今野 颯人, 大内 啓樹, 清野 舜, 松林 優一郎, 高橋 諒, 乾 健太郎. 日本語述語項構造のための自己回帰モデル. 第14回NLP若手の会 シンポジウム. August. 2019.
  • 藤井 諒, 清野 舜, 鈴木 潤, 乾 健太郎. ニューラル機械翻訳における文脈情報の選択的利用. 言語処理学会第25回年次大会予稿集. March. 2019. pdf
  • 今野 颯人, 松林 優一郎, 大内 啓樹, 清野 舜, 乾 健太郎. 前方文脈の埋め込みを利用した日本語述語項構造解析. 言語処理学会第25回年次大会予稿集. March. 2019. pdf
  • 北山 晃太郎, 清野 舜, 鈴木 潤, 乾 健太郎. 画像言語同時埋め込みベクトル空間の構築に向けた埋め込み粒度の比較検討. 言語処理学会第25回年次大会予稿集. March. 2019. pdf
  • 清野 舜, 鈴木 潤, 乾 健太郎. ExpertとImitatorの混合ネットワークによる大規模半教師あり学習. 言語処理学会第25回年次大会予稿集. March. 2019. pdf 優秀賞
  • 清野 舜, 高瀬 翔, 鈴木 潤, 岡崎 直観, 乾 健太郎, 永田 昌晃. ニューラルヘッドライン生成における誤生成問題の改善. 言語処理学会第24回年次大会予稿集. March. 2018. pdf 優秀賞
  • 清野 舜, 田 然, 渡邉 研斗, 岡崎 直観, 乾 健太郎. 談話関係認識のための時制情報の分析. 言語処理学会第23回年次大会予稿集. March. 2017. pdf
  • 清野 舜, 岡崎 直観, 乾 健太郎. 質問応答タスクの設定と文章読解モデルの比較・検討. 第11回NLP若手の会 シンポジウム. August. 2016.
  • 清野 舜, 渡邉 研斗, 岡崎 直観, 乾 健太郎. Bi-gram連接表と単語列変形規則に基づく回文自動生成. 人工知能学会第29回全国大会. May. 2015. pdf

Others

  • Shun Kiyono, Sho Takase, Jun Suzuki, Naoaki Okazaki, Kentaro Inui, Masaaki Nagata. Source-side Prediction for Neural Headline Generation. arXiv preprint arXiv:1712.08302. December. 2017.

Awards

2020 言語処理学会第26回年次大会 (NLP2020) 優秀賞 Rate 上位8/396件
2019 言語処理学会第25回年次大会 (NLP2019) 優秀賞 Rate 上位7/398件
2018 言語処理学会第24回年次大会 (NLP2018) 優秀賞 Rate 上位6/332件
2017 東北大学 総長賞 / Tohoku University President's Award

Internship

2017 NTTコミュニケーション科学基礎研究所
Mentor 鈴木 潤 & 高瀬 翔
2017 日経電子版インターン(東京)
2016 Recurit Holdings Summer Internship 2016 Data Analyst Course

Activities

Language Skills

Natural Languages

  • Japanese (Native)
  • English (TOEIC 950)

Programming Languages

  • Python (fluent)
  • JavaScript