## 任务目标
请根据真实错误样例改进现有提示词,并保留可复查的对照。没有真实结果时先准备评估方案,不能编造改进分数。
交付能用于评审或后续实施的具体方案、规则与样例;未要求实施的部分不声称已经落地。
## 输入信息(选填)
两项均可留空,也可直接用一句话说明目标并附上已有资料。无需自行整理版本、配置或完整需求表;能读取的内容由执行者补齐。
提示词与主要问题:
样例或运行记录:
## 信息不完整时
先使用本次对话中已经说明的信息;用户留空、写“暂无/不清楚”或未替换输入标记,都按缺失处理,不当作真实路径、参数或业务值。已能从资料确定的内容不重复询问,不编造文件、日志、接口、业务值或执行结果。在用户已授权的范围内读取相关工程和材料,不为补齐输入擅自扩大操作范围。
### 优先确认
- 从上下文提取原提示词、不能改变的限制、典型错例与当前输出格式。
- 检查已有评估脚本、数据划分、模型版本与参数,识别重复或泄漏样例。
### 可采用的默认处理
- 先处理明确歧义和遗漏,候选控制在三份以内,每份说明改动对应哪个已见问题。
- 没有真实评分时只给改进假设和可执行评估方案,保留基线;不借用他人效果或合成例冒充真实提升。
### 必须有依据的事项
- 当前提示词、预期业务结果或不可变约束全部缺失时,集中索取能确定改写对象的最少内容。
- 涉及额外付费模型调用但未有调用授权时,先交付候选和评估输入,不擅自扩大调用。
只有缺口会改变业务结果、权限边界或关键实现,且无法从现有资料确认时,才集中提出最多 3 个关键问题;说明影响,并继续完成不依赖答案的部分。一般命名、排版和可逆实现细节按现有约定决定,不逐项等待确认。
### 资料仍不足时的交付
- 只有提示词、没有错例时可做结构和歧义审查,给出待验证候选与样例收集格式。
- 没有模型运行条件时交付完整候选、固定比较方法和未执行的结果表。
## 执行要求
从错例分析、反馈和少量候选调整入手,再用固定数据对照。
1. 固定任务边界、输出协议、评分口径和模型配置,先核对样例标签质量、重复项及泄漏风险。同一来源、实体或近似改写样例需要合理分组,避免高度相似内容同时出现在训练与评估数据里而虚增效果。
2. 区分用于发现错误的开发集、选择候选的验证集和最终检查的留出集。已经反复用于选优的数据只能算验证集;数据太少无法隔离时明确局限,采用可说明的分组验证,不宣称得到可靠的泛化提升。
3. 对真实失败按指令歧义、输入缺失、输出格式、知识不足和推理或业务规则错误分类,分别引用样例编号、期望值与实际值。提供可核对的简短原因,不要求展示模型完整思维过程;标签或输入本身有问题的样例先修订记录。
4. 最多生成三个候选,每个只围绕有证据的错误调整必要指令,标出相对基线的改动及预期影响。保持原有业务限制,避免把单个样例答案硬塞进通用提示词,也不以不断叠加例外导致正常任务退化。
5. 在相同模型、参数、样例和预算口径下比较基线与候选,原始回答和评分结果均保留。数值、实体名、否定词等业务含义不得被随意归一化;需要评分模型时记录其配置,并对关键争议样例作独立核对。
6. 用预先定义的门槛选择候选,同时检查正确率、格式合规、关键失败及调用成本。最终留出检查原则上只在候选确定后进行;若据此继续修改,须标明它已参与调优并另行安排最终验证。无显著改善时保留基线,不强行宣布优化成功。
## 交付与验收
输出:数据划分与限制;错例分类表;基线和最多三个完整候选;“样例编号→原始回答→评分”结果;候选对照表;采用或保留基线的理由。没有执行环境时,结果格填写未执行,仅交付可运行的评估输入与判定规则。改进百分比必须能由实际样例计数复算,并写清分母;项目公开榜单、Star 数和他人任务的成绩不能作为本条效果证明。
### 本条完成检查
- 基线和候选可直接复用,原有限制没有被改弱。
- 效果结论能追溯到相同条件下的实际样例,无法验证时明确保留基线或候选待测。
按本条要求组织结果,使用简洁中文和一致的编号、术语、缩进及空行;已有项目格式优先。只说明实际完成的内容,将采用的假设、未完成项和缺少的条件写在相关位置,不额外生成无关文档。未执行、无法复现或缺少证据的检查如实标注,不宣称已通过或已有性能收益。
## 参考资料与适用边界
整理说明:错例分析与候选优化参考下方公开实现,独立留出集和回归门槛为本模板补充。
官方来源:https://github.com/modelscope/PromptScope/blob/d4e06ba53443eb86b67819c2e18a1ea1163599df/prompt_scope/core/models/world_model/base_world_model.yaml
来源许可说明:Apache-2.0(https://github.com/modelscope/PromptScope/blob/d4e06ba53443eb86b67819c2e18a1ea1163599df/LICENSE)。本条为中文原创整理,来源内容与本模板补充要求已在正文区分。