バイトペアエンコーディングとは
ばいとぺあえんこーでぃんぐ
別名: BPE / byte pair encoding
頻出する文字列を結合してトークンを作る手法。語彙数を効率的に抑えられる。多くのLLMで採用されている。
✓ 監修済み
スライドで学ぶ
3日間の無料トライアル付き・クレジットカード不要・いつでも解約OK