NVIDIA发布印度语预训练数据集和开放生成流程

NVIDIA与IIT Madras和AI4Bharat合作发布Nemotron-pretraining-Indic-v1数据集，包含2.8万亿token的印度语训练数据，涵盖22种印度宪法语言，并开放了GPU加速的数据生成流程。该数据集结合了原生脚本和罗马化文本，包含数学、代码和问答内容，旨在解决印度语言技术因数据不足而落后于英语的问题。