大语言模型部署

大模型目前普及主要的问题是幻觉，因此需要高度人类监管。大模型一般指代大量参数和计算资源的机器学习模型，下面二者都是，但易于混淆：

AIGC（生成式 AI）是 AI 生成内容，包括文本、图像、音频、视频等。

LLM（Large Language Model）大语言模型，主要用于处理和文本生成。

二者交集较多，但不是包含关系。

AIGC不仅限于LLM，还包括图像、音频、视频等生成技术。

部分大语言模型也不提供生成功能，只提供文本处理功能。

📄️ 模型社区

开源社区

提示词工程

模型微调（Fine-Tuning）是指在一个预训练的基础模型上，使用特定领域或特定任务的数据进行进一步训练，以使模型能够在特定任务上表现得更好。例如对计算机科学的名词翻译进行微调，可以提高翻译的准确性。

模型部署主要有如下几个需求：并发高、延迟低、占用小。解决方案对应Ollama、VLLM、Llama-Cpp-Python。

大模型可以完成思考，但是不能跨越聊天界面控制你的鼠标、键盘、邮件，而Agent智能体是基于大语言模型开发的智能体，可以完成特定任务。相当于给大脑装上了手和脚。