✨北大开源：DataFlow 大模型数据工厂，可复现、可分享、可定制
DataFlow 是北大 DCAI 团队开源的数据准备系统，堪称“数据工厂”。它解决了大模型训练中数据清洗、过滤、生成高质量指令对的脏活累活，让从脏数据到高质量数据集的过程变得可复现、可分享。其核心设计是像写 PyTorch 一样写数据处理流程，通过 Pipeline、Operator、Prompt 三层清晰抽象，并利用编译时校验提前捕获错误。项目提供了丰富的算子生态、可视化 DAG 以及强大的分布式执行能力，其追求数据质量重于数量，实验证明少量高质量数据即可超越海量通用数据。