言語処理を行うときの基本として，現在は文章を単語などの何らかの単位に区切り（トークナイズ (tokenize) して），それらをベクトルに落とし込んでモデルで処理することが多いです．今回はトークナイズ（単語を区切ること）にフォーカスして，それをでどの…