一、预训练目标从零训练通用底座数据大规模语料清洗、去重、分词、数据过滤模型架构Transformer主流训练分布式训练、混合精度训练、梯度累积、学习率调度优化器AdamW、LAMB并行数据并行、张量并行、流水线并行、ZeRO 显存优化二、微调目标定制模型能力 / 风格常规微调SFT 有监督微调、全参数微调轻量微调主流LoRA、QLoRA、Prefix Tuning、Prompt Tuning、Adapter对齐优化RLHF、DPO、IPO人类偏好对齐配套指令数据集构建、损失函数优化三、模型压缩目标瘦身、降显存、提速、本地部署量化最常用INT8 (Q8)、INT4 (Q4)、GGUF 量化、K-quant剪枝移除冗余权重 / 神经元蒸馏大模型 (教师)→小模型 (学生)稀疏化激活稀疏、权重稀疏轻量化架构模型结构简化、参数精简流程海量数据 分布式训练预训练→ 轻量微调 / LoRA定制→ 量化 Q4/Q8压缩部署
一、预训练目标从零训练通用底座数据大规模语料清洗、去重、分词、数据过滤模型架构Transformer主流训练分布式训练、混合精度训练、梯度累积、学习率调度优化器AdamW、LAMB并行数据并行、张量并行、流水线并行、ZeRO 显存优化二、微调目标定制模型能力 / 风格常规微调SFT 有监督微调、全参数微调轻量微调主流LoRA、QLoRA、Prefix Tuning、Prompt Tuning、Adapter对齐优化RLHF、DPO、IPO人类偏好对齐配套指令数据集构建、损失函数优化三、模型压缩目标瘦身、降显存、提速、本地部署量化最常用INT8 (Q8)、INT4 (Q4)、GGUF 量化、K-quant剪枝移除冗余权重 / 神经元蒸馏大模型 (教师)→小模型 (学生)稀疏化激活稀疏、权重稀疏轻量化架构模型结构简化、参数精简流程海量数据 分布式训练预训练→ 轻量微调 / LoRA定制→ 量化 Q4/Q8压缩部署
💡
读完这篇文章，你可以带走什么
本文来自编程新知一线开发与建站实战沉淀：讲清原理、给出可复现步骤、标注避坑要点。看完后可以直接在你的项目或网站中落地验证。
想把这套方案用到自己的项目上？
编程新知提供技术答疑与网站建设一站式服务，欢迎联系我们获取针对性建议。
——从 rwx 到 chmod/chown)
