https://jasaxion.github.io/keywords/pretrain/Recent content in Pretrain on Jasaxion一只大雄Hugozh-CNMon, 28 Sep 2026 00:00:00 +0000https://jasaxion.github.io/posts/2026/09/%E5%9F%BA%E6%A8%A1%E6%9D%82%E8%B0%88%E4%BB%A3%E7%A0%81%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%BA%BF%E7%BB%8F%E9%AA%8C%E6%9D%82%E8%B0%88/Mon, 28 Sep 2026 00:00:00 +0000https://jasaxion.github.io/posts/2026/09/%E5%9F%BA%E6%A8%A1%E6%9D%82%E8%B0%88%E4%BB%A3%E7%A0%81%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%BA%BF%E7%BB%8F%E9%AA%8C%E6%9D%82%E8%B0%88/<blockquote> <p>随着蒸馏实验的不断发展，现在越来越多的研究发现数据产生的价值越大越模型架构等，把数据做好模型能力有稳步的提升。代码数据预训练的来源和流程，优化路径包括：去重、模型打分、合成数据与过程数据融合，助力模型性能提升。</p>