arXiv · Machine Learning· Binayak Mukherjeea, Moitreya Nandi, Arindam Panja·· 8 小时前AI 评分41
AdaptTok-Indic：面向印度语的脚本感知自适应分词
AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages
AI 导读
AdaptTok-Indic 将 Unicode 规范化预处理、印度语合字处理、脚本感知路由和字节级边界预测结合，用于减少孟加拉语、印地语等语言的过度切分。
来源：arXiv · Machine Learning · arxiv.org