現在の多くのLLMの基礎となっているニューラルネットワーク構造です。
文章内の単語同士の関係を効率よく扱える仕組みです。 2017年に発表され、その後の大規模言語モデルの発展を支えました。 GPTなど多くの生成AIモデルに応用されています。
モデル・学習
Transformer
トランスフォーマー ｜ Transformer
現在の多くのLLMの基礎となっているニューラルネットワーク構造です。
💡 3行でわかるTransformer
1文章内の単語同士の関係を効率よく扱える仕組みです。
22017年に発表され、その後の大規模言語モデルの発展を支えました。
3GPTなど多くの生成AIモデルに応用されています。