ネットワークが出した3つの生スコア(数字 3・5・8 らしさ)

5.2
1.0
3.4
1.0

ソフトマックスが整えた確率(合計は必ず100%)

3
確率
5
確率
8
確率
合計 100.0%
① 生スコア正も負もある、大きさバラバラ
② 指数で持ち上げe の肩に乗せる。必ず正になる
③ 合計で割る正規化。足すと1(100%)

スライダーで生スコアを動かすと、確率がその場で組み替わります。どう動かしても、3本の確率を足すと必ず100%になるのがソフトマックスの肝です。スコアがいちばん高い数字が答え(緑)。温度 T を下げると確率が一点へ尖り(自信満々)、上げるとなだらかに均されます(迷い)。この T は、あとで言語モデルが次の単語を選ぶときに出てくる「温度」とまったく同じものです。上の「確率」欄の小さな数字は、②の指数の値(合計で割る前)です。