メモです

メモです

GWに読んだやつのメモ

Data Augmentation for Low-Resource Neural Machine Translation

https://arxiv.org/pdf/1705.00440.pdf

NMTにおけるデータセットの水増し方法

 

ポスター

https://www.aclweb.org/anthology/attachments/P/P17/P17-2090.Presentation.pdf

日本語の解説

論文読み会 Data Augmentation for Low-Resource Neural Machine Translation

 

 

Attention is all you need

https://arxiv.org/pdf/1706.03762.pdf

有名な論文

 

著者による解説

Research Blog: Transformer: A Novel Neural Network Architecture for Language Understanding

日本語の解説

論文読み "Attention Is All You Need" - Qiita

論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ

なるほど!Google翻訳のアルゴリズム - kysmo’s blog

pytorchによる実装

The Annotated Transformer

 

Neural Machine Translation from Simplified Translations

https://arxiv.org/pdf/1612.06139.pdf

2016年の論文。コーパスの文を逐語訳のやつ増やすと精度があがる

Synthetic and Natural Noise Both Break Neural Machine Translation

https://arxiv.org/pdf/1711.02173.pdf

2018年のICLR。

人間だとミスタイプした単語が入ってる文でも読めるけど、ミスタイプした文を機械翻訳すると失敗する問題。ランダムに単語の文字を入れ替えたりして人工的にミスタイプを作って学習させる。まあまあ対処できるけど微妙。

 

英語の解説記事

Synthetic and Natural Noise Both Break Neural Machine Translation - Arya McCarthy - Ph.D. student in computer science at Johns Hopkins

Synthetic and Natural Noise Both Break Neural Machine Translation · Issue #99 · kweonwooj/papers · GitHub