反复修改提示词,AI还是在犯同样的错误?那问题可能根本不在提示词上。

2025年6月,Shopify CEO Tobi Lutke在X上发的一句话在AI开发者圈子里迅速传开了。"上下文工程比提示词工程更准确。这项技能的核心在于设计好所有上下文,让LLM能够解决任务。"这也是为什么82%的IT和数据领导者表示"光靠提示词工程已经不够用了"。

3秒摘要
提示词的局限 4种失败模式 上下文设计转变 5个实战技巧 立即应用

提示词再完美,AI还是出错的4个原因

提示词工程是优化"怎么跟AI说"的技术。2023-2024年,这看起来是核心技能。但当AI接入真实生产系统后,会遇到提示词独自无法解决的瓶颈——特别是在复杂工作流、RAG、智能体场景下。

Firecrawl和DataCamp的研究将这些失败归纳为4种模式:

失败模式症状实际案例
污染 (Poisoning)一次错误信息持续影响后续回答输入一次错误日期,后续推理都基于那个错误日期展开
干扰 (Distraction)对话越长,AI越忽略早期指令来回10次后,AI忘记了最初设置的角色设定
混乱 (Confusion)包含无关文档时给出离题回答粘贴50页文档,AI找不到中间的关键内容
冲突 (Clash)同一窗口内有矛盾信息时性能急剧下降OpenAI o3准确率从98.1%跌至64.1%

上下文冲突平均造成39%的性能下降。Databricks分析显示,即使是Llama 3.1 405B这样的大型模型,在32,000 token附近准确率就开始下滑——百万token窗口也不能保证全部正确处理。Stanford的"lost in the middle"研究也得出相同结论:AI对上下文的开头和结尾处理得好,但中间内容容易遗漏。

上下文工程,到底哪里不一样?

Anthropic将其定义为"在LLM推理期间筛选和维护最优token集合的策略总体"。简单来说,提示词工程是"说什么",上下文工程是"让AI看什么的设计"。

想象一下去看医生。只说"我头疼"和带着最近用药记录、睡眠情况、压力水平、既往病史一起去,结果完全不同。提示词工程是把"我头疼"说得更准确,上下文工程是设计医生做出准确诊断所需的所有背景信息。

提示词工程上下文工程
核心问题怎么表达?AI需要知道什么?
范围单次输入输出优化AI看到的所有信息的设计
适用场景简单聊天机器人、一次性任务智能体、RAG、复杂工作流
失败原因指令模糊或不明确信息架构问题

提示词工程并没有过时——上下文工程是包含提示词在内的上位概念。但当AI的用途超出简单对话——复杂智能体、RAG、副驾驶——上下文架构就决定了结果。

82%
IT/数据领导者认为光靠提示词已不够
39%
上下文冲突导致的平均性能下降
75~90%
上下文缓存可节省的成本

5个立即可用的上下文技巧

基于Anthropic、Firecrawl、DataCamp的研究,整理了效果最显著的5个技巧。即使没有开发经验,今天就能应用。

  1. 将关键信息放在最前和最后
    Stanford的"lost in the middle"研究表明,AI对上下文的开头和结尾处理效果最好。在系统提示词中,将最重要的规则放在第一个部分,用户查询放在最末尾。最相关的参考文档或数据放在查询之前效果最佳。
  2. 少放更好——最小可行上下文
    这是Firecrawl所称的"Minimum Viable Context(MVC)"原则。不要粘贴整个文档,只提取与查询相关的部分。研究表明,从46个工具中只选取19-30个相关工具,工具选择准确率提升了300%。
  3. 固定不变的信息做缓存
    每次重复发送相同的系统提示词、数据库schema、策略文档是token浪费。Claude和Gemini的上下文缓存功能可以让重复上下文块节省75-90%的费用。不变的内容放前面,每次变化的内容放后面,缓存效率最大化。
  4. 长对话要压缩,不要截断 (Compaction)
    当对话接近上下文限制时,应该总结后重新初始化,而不是直接删除内容。需要保留的:重要决策、未解决问题、关键选择。可以丢弃的:中间尝试、重复确认、失败实验。Anthropic建议先以记忆为优先进行总结,之后再精炼去除不必要的内容。
  5. 用子智能体分离上下文
    复杂任务不要全部交给一个AI,而是为每类任务构建专业的子智能体。每个智能体都有干净的上下文窗口,将结果压缩后传递给主智能体(通常1,000-2,000 token)。这种方式在专业智能体基准测试中实现了54%的性能提升。

现在就能试的事

在Claude或ChatGPT进行长任务时,在系统提示词的第一部分只写清楚"绝对不变的规则",文档只粘贴相关部分而非全文。不改一个字提示词,回答质量就会不同。

想深入了解

Effective Context Engineering for AI Agents Anthropic工程团队实战指南 — 压缩、即时检索、子智能体模式 anthropic.com

Context Engineering vs Prompt Engineering for AI Agents 4种失败模式、MVC原则和测量指标的实战整理 firecrawl.dev

Context Engineering Guide RAG、记忆系统、动态上下文构建综合指南 promptingguide.ai

Why AI Teams Are Moving from Prompt Engineering to Context Engineering 上下文金字塔模型和GraphRAG知识图谱方法 neo4j.com

Context Engineering: A Guide With Examples 工具配置优化、上下文卸载、丰富实验数据 datacamp.com

Context Engineering: LLM Memory and Retrieval for AI Agents 6个核心支柱和智能RAG框架介绍 weaviate.io