type
status
date
slug
summary
tags
category
icon
password
网址
Huggingface 出品的 LLM 训练手册
非常详细的介绍了完整的 LLM 训练流程,包括训练指南(是否需要预训练)、预训练、后训练、基础设施
主要以他们自己训练的 SmolLM3 这个 3B 模型为例子
文章或者说手册包含了他们训练模型过程中对一系列决策、发现和死胡同的梳理,全是实践经验

- Author:无敌宝宝男sp
- URL:http://www.wudibaobaoda.top/article/29e4032f-33bf-80b8-9498-f5a885bab5d7
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!







