LSTMネットワークを理解する

LSTM の繰り返しモジュールは、4 つの相互作用する層を含んでいます。 後でLSTMの図を順を追って見ていくことにしましょう。

上の図では、各線は 1 つのノードの出力から他のノードの入力まで、全体のベクトルを運びます。 ピンクの円はベクトルの足し算のような点演算を表し、黄色のボックスは学習されたニューラルネットワークの層である。 行の結合は連結を、行の分岐はその内容がコピーされ、コピーが異なる場所に移動することを示す。

LSTMの核となる考え方

LSTMの鍵は、図の上部を通る水平線であるセルの状態です。 セル状態はベルトコンベアのようなもので、チェーン全体をまっすぐに走り、わずかな線形相互作用があるのみです。

LSTM には、セル状態に情報を削除または追加する機能がありますが、ゲートという構造によって慎重に制御されます。 シグモイド ニューラル ネット層とポイントワイズ乗算演算で構成されます。

シグモイド層は 0 から 1 の数値を出力し、各成分をどれだけ通過させるかを記述します。 0の値は「何も通さない」ことを意味し、1の値は「すべてを通す」ことを意味する。

LSTMはこれらのゲートを3つ持ち、細胞の状態を保護・制御している。 この決定は “forget gate layer “と呼ばれるシグモイド層で行われる。 この層は \(h_{t-1}) と \(x_t) を見て、セル状態 \(C_{t-1}) の各数値に対して \(0) と \(1) の間の数値を出力します。 1は “fully keep this”、0は “fully get rid of this “を表します。

言語モデルが前の単語を全て考慮して次の単語を予測する例に戻りましょう。 このような問題では、正しい代名詞を使用できるように、セルの状態には現在の主語の性別が含まれる場合があります。 新しい主語が現れたら、古い主語の性別は忘れたい。

次のステップは、セルの状態に保存する新しい情報を決めることである。 これには2つの部分があります。 まず、「入力ゲート層」と呼ばれるシグモイド層で、どの値を更新するかを決定する。 次に、tanh層で新たに追加する値の候補のベクトル「 \tilde{C}_tenta 」を作成します。

言語モデルの例では、新しい被験者の性別をセル状態に追加し、忘れている古い性別を置き換えることになります。

古い状態に、先ほど忘れようと思ったことを忘れながら♪♪♪ \(f_t**) を掛けます。 そして、(i_t*tilde{C}_t})を追加します。

言語モデルの場合、前のステップで決めたように、ここで実際に古い被験者の性別の情報を捨てて、新しい情報を追加します。

最後に、何を出力するかを決めます。 この出力は細胞の状態に基づいていますが、フィルタリングされたバージョンになります。 まず、シグモイド層で細胞の状態のどの部分を出力するかを決定する。

言語モデルの例では、主語を見ただけなので、次に来る動詞に関連する情報を出力したいかもしれません。 たとえば、主語が単数か複数かを出力して、次に来る動詞がどのような形に活用されるべきかを知ることができます。

Variants on Long Short Term Memory

これまで説明したものは、ごく普通の LSTM です。 しかし、すべてのLSTMが上記のようなものであるわけではありません。 実際、LSTMに関わるほぼ全ての論文で、少し異なるバージョンが使われているようです。 5452>

Gers & Schmidhuber (2000)によって紹介された、よく知られたLSTMの変種の1つは、”のぞき穴接続 “を追加していることです。

上の図はすべてのゲートにのぞき穴を追加しているが、多くの論文ではいくつかののぞき穴を与え、他は与えない。

別の変形は結合した忘却と入力ゲートを使用することである。 何を忘れ、何に新しい情報を加えるかを別々に決定するのではなく、一緒に決定するのです。 その代わりに何かを入力しようとするときのみ、忘れるのです。 5452>

LSTM の少し劇的なバリエーションは、Cho ら (2014) が紹介した Gated Recurrent Unit (GRU) です。 これは、忘却ゲートと入力ゲートを単一の “更新ゲート “に結合するものである。 また、セル状態と隠れ状態を統合し、その他の変更も行っている。 結果として得られるモデルは、標準的な LSTM モデルよりもシンプルで、ますます人気が高まっています。

これらは、最も注目すべき LSTM 変数のほんの一部に過ぎません。 Yao, et al. (2015)による Depth Gated RNNs のように、他にもたくさんあります。 また、Koutnik, et al. (2014)によるClockwork RNNsのように、長期依存性に取り組む全く異なるアプローチもあります。

これらの変種のうちどれがベストでしょうか？ 違いは重要ですか？ Greff, et al. (2015)は、人気のあるバリアントの素晴らしい比較を行っており、それらがすべてほぼ同じであることを発見しています。 Jozefowicz, et al. (2015) は、1 万以上の RNN アーキテクチャをテストし、特定のタスクで LSTM よりも優れた働きをするものを見つけました。 基本的に、これらはすべて LSTM を使って達成されます。 LSTM は、ほとんどのタスクでより効果的に機能します。

LSTM は方程式のセットとして書き下すと、かなり威圧的に見えます。 このエッセイで段階的に説明することで、少しは親しみやすくなったのではないでしょうか。

LSTM は、RNN で達成できることの大きな一歩となりました。 もう1つ大きなステップがあるのだろうかと考えるのは自然なことです。 研究者の間ではよくある意見です。 “ある！次のステップがあり、それは注目だ！”です。 このアイデアは、RNNの各ステップが、ある大きな情報の集合体から見るべき情報を選ぶようにすることです。 例えば、RNNを使って画像を説明するキャプションを作成する場合、RNNは出力する単語ごとに画像の一部を選んで見ることができます。 実際、Xuら(2015)はまさにこれを実行しています。 アテンションを使った本当にエキサイティングな結果がいくつも出ており、さらに多くの結果が出そうです…

RNN研究においてエキサイティングなのは、アテンションだけではありません。 たとえば、Kalchbrenner, et al. (2015)によるGrid LSTMsは非常に有望だと思われます。 生成モデルでRNNを使用する仕事 – Gregor, et al. (2015), Chung, et al. (2015), またはBayer & Osendorfer (2015) など – も非常に興味深いと思われます。 ここ数年は、リカレント ニューラル ネットワークにとってエキサイティングな時期でしたが、これからはもっとエキサイティングになることが約束されています！

Acknowledgement

LSTM の理解を深め、視覚化についてコメントし、この投稿についてフィードバックをくれた多くの人々に感謝します。

この投稿の前に、私はニューラルネットワークについて教える2つのセミナーシリーズで LSTM を説明する練習をしました。 この投稿の前に、私はニューラルネットワークについて教える2つのセミナーシリーズでLSTMの説明の練習をしました。それに参加した皆さん、私に辛抱強く付き合ってくれたこと、そしてフィードバックをくれたことに感謝します。 包括的でないリストを挙げると Felix Gers、Fred Cummins、Santiago Fernandez、Justin Bayer、Daan Wierstra、Julian Togelius、Faustino Gomez、Matteo Gagliolo、および Alex Graves などです。

その他の投稿