大模型概述1

张开发
• 2026/4/11 19:02:46 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

大模型概述1
一个中文字符大约0.6个token一个英文单词一般0.3个token不同的大模型有自己不同的tokenize。令牌化的方法。FLOPs算力的参数多少此浮点型运算大模型分类分类方式一多模态的多种形态的模型专门处理文本语言大模型多模态理解大模型图生文非文本模态转换为文本多模态生成大模型文生图文本模态转换为非文本模态。模态文本语音图像视频巴拉巴拉的。大模型4要素大模型权重参数推理代码训练代码不开源训练数据集不开源大语言模型训练范式1.预训练模型 --》学知识 预训练学习下一个Token的概率分布情况。这个环节模型具备的是词语接龙而不是对话的能力。但无法保证回答是否有用是否符合人类偏好是否安全是否合规。大量数据塞入预训练学分布。 高手但是什么规矩也不懂2. SFT--》学会按指令回答问题 Supervised Fine-Tuning监督微调让模型学会如何按指令和执行特定任务这样只能学到类人但是没有办法真的完全是人。SFT1.标注成本高难以全面覆盖场合。微调不用计算机集群去实现微调。但需要大量的高质量数据。3.RLHF --》学会人类偏好 对最好的回答做奖励。 反套路必备避免奶奶难题模型的训练过程与推理过程大模型工程实现AIGC跟AGIAIGC人工智能生成。AGI通用人工智能。幻觉1.LLM不是知识库是生成模型 2.训练数据本身存在噪声或者冲突 3.RLHF强调有用回答而不是拒答 4.生成任务天然追求完整性而不是保守。1.提示词工程 2.rag 3.微调 4.续训 5.智能体开发1.提示词工程系统化地去说明任务。表达需求你想干嘛思维需要严密模型需要充当的角色目标明确背景与上下文输入格式输出格式质量与约束加上Few-shot的事例。用QA问答的方式也可以分系统提示词跟用户提示词。上下文我们历史的文字传入。 上下文窗口存在长度限制。提示词工程的边界1.参考资料过多上下文窗口不够用了 2. 操作需要多步完成 3. 指令遵循能力不足。4.缺少某个垂类领域的知识点开头与结尾的模型记忆比较好。中间可能就忘了写词的时候需要给抛出异常的地方不用让大模型强撑。CoTchain of thinking ToTTree of thinking

更多文章