来源时间为：2024-03-11
揭秘微软新策略：用儿童故事培育AI语言模型，开启低成本训练革命
2024-03-1108:22:52
来源：
【微软研究人员探索使用儿童故事训练微小语言模型，发现其能迅速学会讲述连贯且符合语法的故事，为训练大型模型提供了新的研究方向。】
在人工智能领域，理解和改进神经网络的行为一直是一个挑战。大型语言模型如ChatGPT的训练成本高昂，而微软研究人员提出了一个新的方法：使用儿童故事来训练微小模型，以此模拟神经网络的学习过程。
这种方法的灵感来自于果蝇基因组测序与人类基因组测序的类比。研究人员在较小的数据集上训练语言模型，从而更容易理解这些模型的行为。在最新的研究成果中，微软的研究人员发现，即使是比现有最先进系统小数千倍的语言模型，在接受儿童故事训练后，也能迅速学会讲述连贯且符合语法的故事。
为了生成这些训练数据，研究人员首先创建了一个由大型语言模型生成的合成儿童故事库。然后，他们使用这些故事训练了参数规模介于100万到3000万的模型，并比较了它们的性能。结果表明，较小的模型也能表现出色，尤其是在掌握语法和故事一致性方面。
这项研究表明，微小模型的成功为训练更大、更复杂的模型提供了宝贵的见解。同时，它也为如何构建高质量的训练数据集提供了新的思路。研究人员希望，这一发现能激发更多关于语言模型的科学研究。
