AI/ML

Transformer

とらんすふぉーまー

自己注意機構に基づく代表的な深層学習構造。

  • #model
  • #deep-learning

自己注意機構(Self-Attention)を中心に系列を扱うニューラルネット構造。LLMをはじめ、画像・音声など多くの分野でデファクトとなっている。スケーリング則の基盤としても重要。