AdaptTok-Indic提出面向印度语的自适应分词方法

Binayak Mukherjeea、Moitreya Nandi和Arindam Panja发布论文，提出面向印度语的AdaptTok-Indic分词方法；论文称，该方法在孟加拉语、印地语评测中，以及古吉拉特语、泰米尔语和泰卢固语的补充评测中，切分产生的词元数少于多个基线方法。 该方法结合Unicode规范化、印度语合字处理、脚本感知路由和字节级边界预测。不过，作者说明目前实现是有简化的小规模原型，未进行统计显著性检验，也未与已发布的MAGNET实现比较或评测代码混合文本。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。