在真实业务约束中拉开差异
从项目融资到现金流传导,评分同时关注数值、公式依赖与输入变化后的业务响应。三个重点案例提供了明确的能力区分信号。
查看业务场景 ↗ASTRA × HY / QUALITY & EXECUTION
Hy4-preview散点颜色对应模型 / logo 为每题各模型均值点击彩色散点查看单次运行,点击模型标识查看该题均值。
全部均值差额 ≥10 pp 的三个案例,每题保留 Astra 5 次与 HY 8 次基础运行。横轴是轨迹记录的工具调用数,不是耗时;调用封装因执行框架而异。青绿色为 Astra,蓝色为 HY;重合点保留原坐标。标识横移处以空心圆为实际均值位置,纵轴位置保持真实得分率。
SUMMARY / THE VALUE OF OUR DATA
13 道任务,全部配备完整 Oracle。
标准解、可执行评分、满分回执与模型轨迹,共同构成可定向扩展的金融 Agent 数据资产。
在本轮 13 道任务的基础结果中,Astra 平均得分率领先 6.15 个百分点。三个重点案例进一步呈现 13.47–39.40 个百分点的差异,为 HY 的专项优化提供具体切入点。
HY 已具备形成交付的执行基础,仍有巨大的优化空间。我们掌握的完整 Oracle,让每轮优化都有明确的正确性参照;结合 trajectory,可以围绕具体业务链路设计样本,并用复测衡量改进。
01 / DATA THAT MAKES A DIFFERENCE
02 / ASTRA × HY · FOCUSED EVIDENCE
按基础运行的平均得分率差额筛选;每个案例保留两侧全部运行。点击切换场景,查看均值与逐次结果。
重点案例用于展示具体区分信号,不代表全部任务的平均表现。上方总体比较始终包含完整 13 题;得分率 = reward × 100,并非通过率。
03 / TRAJECTORY · EVIDENCE IN MOTION
把读取、建模、重算与验证放在同一视图中,观察模型如何形成交付,再将具体步骤与最终得分对应起来。这些过程证据,是专项样本设计与复测讨论的共同起点。
每个色块对应一条记录中的工具调用;分类根据可见工具与命令文本,混合动作单独标记。批量命令仍算一次调用,类别与调用数量用于定位过程,不直接衡量推理成本。
默认选择各模型本题基础得分最接近中位数的运行,同距时取最小 slot;可切换查看全部基础运行。得分仅为所选运行的最终评分,不推算过程分数。原始轨迹保留在数据包,网页提供经过脱敏的工具事件摘要与命令片段。
04 / HY · MODEL DEVELOPMENT OPPORTUNITIES
本轮留存结果显示,HY 已能在这些任务中形成有得分的交付;复杂规则下的完成度与稳定性,仍提供了可进一步探索的空间。以下是基于差异证据提出的优先验证方向。
LNG 案例中,HY 平均得分率为 28.08%,Astra 为 67.48%。这一差异提示,项目级多环节联动值得作为专项验证重点。
围绕经营假设、资本开支、融资及估值之间的连接构造样本;设置中间检查点,观察局部修复是否能带动整条财务链路一致变化。
容量与工单案例中,两侧平均得分率相差 22.01 个百分点。规则密集、边界交错的任务,为检验“理解规则后能否稳定执行”提供了切面。
建议补充容量限制、授权范围和有效期边界的组合样本,以输入扰动检查规则是否进入实际计算,并在未见场景中验证一致性。
复杂现金流案例中,HY 平均得分率为 30.14%,Astra 为 43.61%。组合交易下的分类、传导和结果一致性,可作为进一步提升的着力点。
建议由单笔交易递进到组合交易,再引入独立输入变化;将最终数值与关键关系同步检验,让专项训练的收益能在复测中被识别。
这些方向是待复测验证的改进假设,分差本身不构成具体失分根因的证明。下一轮建议统一模型配置、工具环境、thinking effort 与预算,并保留全部尝试。
05 / FROM EVIDENCE TO ITERATION
围绕已有差异与实际应用优先级,确定财务链路、业务约束或交易组合等专项方向。
以完整 Oracle 为正确性参照,按业务规则扩展输入、边界与组合场景,并同步验证标准解与评分断言。
固定题面与评分版本,重新运行两侧模型,同时关注得分分布、有效交付与新增记录的执行成本。
AVAILABLE IN THE DATA PACKAGE
以完整 Oracle 与原始轨迹为基础,把显著的优化空间转化为专项样本、复测口径与可衡量的迭代目标。
来源为 Sample Gallery HY v2.0 的 RECORDS.json、SUMMARY.json 与 TASK_INDEX.json。总体先计算各题各模型基础运行均值,再对 13 题等权平均。重点案例为全部均值差额 ≥10 个百分点的任务,各题不挑选最高分。
HY 原始模型标识为 tencent/Hy4-preview,执行框架为 codebuddy_code;Astra 为 gpt-6-astra,执行框架为 codex。两侧不是统一运行条件的控制实验;本页不作普遍模型排名或训练增益承诺。
基础记录共 169 次:Astra 65 次、HY 104 次;另 15 次 Astra hint 单独保留,不纳入比较。全部基础记录保留在总体计算中。原始 reward 按 100 倍展示,差额单位为百分点(pp)。HY 轨迹缺少可靠时间与用量字段;开屏图改用记录工具调用数,序列按调用顺序展示,不推算耗时或成本。
全部 13 道任务保留完整 Oracle 标准解、可执行评分器及 Oracle 满分回执,13 份 NOP 基线回执均为零分。回执与文件哈希已核对;本页未重新执行评分,也不把满分参考等同于预期训练增益。数据包同时保留答卷与原始轨迹。HY 标识采用 Tencent Hy 官方网站现行 logo。标识用于识别比较对象,不表示官方背书。
下载评分数据与来源索引 ↓ · 下载轨迹摘要 ↓