🚧Transformer
学习Transformer的原理,使用PyTorch实现一个简单的Transformer 模型,对模型进行训练和推理。通过分布式训练,提升模型训练效率。
通过这个单元的学习,你可以获得一个专属于自己的大模型,并可以用于自己的业务场景。
📄️ 🚧Encoder-Decoder结构
📄️ 🚧注意力机制
📄️ 🚧Transformer结构
📄️ 🚧手写多模态大模型
📄️ 🚧分布式训练
原理部分
📄️ 🚧模型微调
模型微调(Fine-Tuning) 是指在一个预训练的基础模型上,使用特定领域或特定任务的数据进行进一步训练,以使模型能够在特定任务上表现得更好。例如对计算机科学的名词翻译进行微调,可以提高翻译的准确性。