トークナイザーとは

とーくないざー

別名: tokenizer

文章をトークンに分割するプログラム。モデルが理解できる形式に変換する。日本語のような言語では分割方法が工夫される。

✓ 監修済み

「トークナイザー」の解説スライド（押さえるポイント3点）は会員限定です

無料登録で 6,600語超のスライドと動画コースが見放題。

3日間の無料トライアル付き・クレジットカード不要・いつでも解約OK

IT用語 6,600語超を図解・スライドでやさしく学べる

情シス・IT担当の新人向けに、動画コース × AI用語検索で「調べて終わり」にしない学習を。

3日間の無料トライアル付き・クレジットカード不要・いつでも解約OK