模型使用费只是总成本的一部分
辅助测试会消耗呼叫、令牌、基础设施和等待时间；这是可测量的，并且取决于提供商、模型、长度、缓存和重试。但流程还需要准备需求和数据、集成权限和环境、审查结果、维护提示和适配器、调查误报以及响应非确定性输出。
这就是为什么“上下文就是实际成本”是指导审计的有用假设，而不是每个项目经过验证的经济法则。如果测试环境混乱，模型可以用假设填补空白。如果不加区别地发送所有内容，消耗、延迟和噪音都会增加。该目标对于特定决策而言是充分的、版本化的且相关的上下文。
至少，您需要知道要测试什么以及风险是什么；使用什么版本的应用程序；应该准备什么；您可以使用哪些数据；应遵循哪些步骤；预期结果是什么？您有哪些可用的工具；以及它必须遵守哪些安全和执行限制。您还需要定义何时应该停止而不给出结论，例如，如果凭据丢失、环境失败、数据冲突或不清楚什么算成功。
保存指令、工具版本、模型、参数、编辑输入数据、跟踪和结果的快照。通过这种方式，您可以重放回归、比较版本并区分产品更改和代理更改。在提示中保密，并对工具和浏览器应用最低权限。
如何判断评估是否值得投入
计算每个有用的测试和每个已确认的缺陷的成本。它包括模型和基础设施、准备信息的时间、分类故障、审查结果、维护配置、重试和解决集成问题。它还衡量有多少警报是正确的，有多少是错误的，涵盖了哪些风险，是否可以重复测试，团队需要多长时间才能收到响应，以及有多少缺陷进入生产。如果你不得不放弃其中的大部分证据，那么产生更多的证据也无济于事。
与代表性任务和多次迭代的当前替代方案进行比较。 METR 在 2025 年发现，在一小部分经验丰富的开发人员在自己的存储库上工作的样本中，人工智能工具将完成时间提高了 19%。这不是对测试人员的研究，也没有证明工具总是会延迟：它告诉我们，感知到的节省和观察到的节省可能会有所不同，并且工作环境会改变结果。
模棱两可的接受标准一开始看起来很便宜：有人通过聊天解释规则，代理解释旧版本，QA 手动纠正输出。成本似乎分布在澄清、重复案例、无法重复使用的数据以及无人能重现的错误中。该账户不是在一次调用中；这是关于每次团队或产品发生变化时重建“正确”的含义。
该工具的信息不应是充满文档的文件夹。它仅包括当前的要求、相关的规则、允许的状态和数据、预期的结果、限制以及记录发生的情况的格式。请注意每条信息的来源和更新时间。如果两个文件相互矛盾，请标记冲突并解决它，然后再要求人工智能选择哪个看起来更合理。
平衡测试覆盖、有用信号和复核时间
更多上下文并不能保证得到更好的答案。包含过时要求的提示可能会使结果变得更糟；太短的可能会省略先决条件。使用已知任务测试包，并评估代理是否检测到预期风险、避免重复、识别未知情况并提供可重现的证据。维护一个小的回归集来比较上下文和模型的变化。
它还衡量后续工作：确认发现之前的分钟数、接受的警报百分比、相同误报的重复次数以及部署后出现的故障。一个不太丰富但可审查的信号可能比数百个警报更有价值。优化做出可靠决策的时间，而不是保存代币或生成案例。
“环境才是真正的成本”这句话是一种挑衅，但它并不是适用于所有项目的经过验证的经济规则。在调用很少的测试中，模型消耗可能是主导部分；在需要准备权限、集成环境、审查结果和维护数据的代理中，人力和操作工作可以克服它。答案取决于模型、方式、当前价格、输入和输出长度、缓存、重试和审核量。这就是为什么仅使用每百万代币的价格或示例调用来比较成本是没有意义的。
供应商公布不同价目表并进行更新；某些功能单独收费或具有免费套餐，但受数据使用和限制的影响。使用您实际执行的模型和合同的当前价格，保留计算日期，并考虑输入、输出、计费时的推理、外部工具和存储。公共利率是预算的参考，而不是流量的总成本或节省的承诺。相关比较是在具有相同质量和安全标准的情况下完成相同工作的两种方法之间的比较。
计算有用决策的成本
构建以可审查决策结束的每次执行成本，而不是每次调用成本。添加代币和工具；收集和清理需求的时间；数据准备；许可证和环境；审查结果；警报调查；上下文更正；维护和重复测试。单独衡量已经存在的作品，以免重复上传。如果团队使用小时费率，请陈述假设并提供直接成本和机会成本：测试人员在确认发现时可能会离开另一项任务。
然后计算至少三个分母：每个接受执行的成本、每个已确认缺陷的成本以及每个涵盖风险的成本。没有人讲述整个故事。即使没有发现错误，安全的、负面的测试也可能有价值；一个已确认的严重缺陷可能比一百个常规案例需要更多的审查。它包括误报率以及人们对其进行分类所需的时间。一个生成没人信任的警报的廉价模型可能比生成可重用证据的昂贵调用成本更高，但您必须在实际流程中对其进行衡量。
有用的上下文包从目标和风险、正在测试的版本、验收标准、前提条件、允许的数据和证据格式开始。仅当合同、状态和规则改变测试的决定时才添加它们。删除秘密、过时的文件和不相关的材料。如果两个来源相互矛盾，记录冲突；不要指望模型能够猜测哪一个是权威的。每个片段必须可追溯到当前的需求或决策。
对该包装与案例一起进行版本控制，并记录收到该包装的型号和工具。小型回归测试可以比较上下文变化：仍应检测到预期的情况，模棱两可的情况应产生疑问或弃权，输出应包含足够的证据。通过这种方式，您可以发现删除上下文是否会在不引入遗漏的情况下降低成本，或者添加上下文是否只会增加输入。我们的目标不是向代理人提供所有项目文件；而是向代理人提供所有项目文件。就是为您提供受控检查所需的信息，并在您更换产品时重复进行。
返工通常发生在哪里
返工不仅仅出现在模型错误时。当集成需要调整结果格式、权限不足中断执行或更新更改行为并需要修改提示和断言时，它也会出现。分别计算这些案例。如果一切都加到“AI时代”，没有人知道是否要改变模型、改进API合约、稳定环境还是减少重复审查。在一张简单的纸上，每次重复都可以表明阶段、原因、花费的时间以及是否产生了新的证据。几周后，通常会出现一些原因来解释大部分费用。
经济比较应该使用团队真正需要执行的任务。例如，使用相同的验收规则和可比较的组来衡量多次迭代中对中等风险变更的审查。它计算从准备到最终决定的整个过程，包括失败的执行，并记录一个人必须重做工作的情况。除了平均值之外，它还提供中位数和范围，因为一些极端情况可能会扭曲它。结果不会是 AI QA 的普遍适用；将是对该任务的有用估计，并假设其他人可以审查和更新。
最后，当使用量、型号、费率或覆盖范围发生变化时，重复计算。小型对照试验可能看起来很便宜，因为它仍然依赖于未考虑在内的手工工作；稳定的操作可以将集成成本分摊到多次执行中。写下这些条件并呈现低、中、高使用场景，而不是一个具有错误精度的数字。通过这种纪律，团队可以决定哪些内容要自动化，哪些内容要保持手动，以及何时重新评估投资。