Sample GalleryFINANCIAL AGENTS
DATA & EVALUATION
GPT-6 ASTRA × TENCENT HY4-PREVIEWSAMPLE GALLERY HY v2.0 · 2026.10.27

ASTRA × HY / QUALITY & EXECUTION

把结果差异,放回真实执行路径。

3 个重点案例 · 39 次基础运行

同题得分率与工具调用

GPT-6 AstraTencent HyHy4-preview散点颜色对应模型 / logo 为每题各模型均值
01 LNG 接收站 · 02 容量 / 工单 · 03 现金流

点击彩色散点查看单次运行,点击模型标识查看该题均值。

全部均值差额 ≥10 pp 的三个案例,每题保留 Astra 5 次与 HY 8 次基础运行。横轴是轨迹记录的工具调用数,不是耗时;调用封装因执行框架而异。青绿色为 Astra,蓝色为 HY;重合点保留原坐标。标识横移处以空心圆为实际均值位置,纵轴位置保持真实得分率。

SUMMARY / THE VALUE OF OUR DATA

完整 Oracle 与真实轨迹,
让模型优化有据可循。

13 道任务,全部配备完整 Oracle。
标准解、可执行评分、满分回执与模型轨迹,共同构成可定向扩展的金融 Agent 数据资产。

在本轮 13 道任务的基础结果中,Astra 平均得分率领先 6.15 个百分点。三个重点案例进一步呈现 13.47–39.40 个百分点的差异,为 HY 的专项优化提供具体切入点。

HY 已具备形成交付的执行基础,仍有巨大的优化空间。我们掌握的完整 Oracle,让每轮优化都有明确的正确性参照;结合 trajectory,可以围绕具体业务链路设计样本,并用复测衡量改进。

13业务任务覆盖 6 类任务
169基础运行全部纳入总体均值
13 / 13完整 Oracle 覆盖标准解与满分回执齐备
3重点差异案例Astra 领先 ≥10 pp

01 / DATA THAT MAKES A DIFFERENCE

数据的价值,在于把下一步优化变得具体。

01

在真实业务约束中拉开差异

从项目融资到现金流传导,评分同时关注数值、公式依赖与输入变化后的业务响应。三个重点案例提供了明确的能力区分信号。

查看业务场景 ↗
02

用重复运行观察稳定性

每题保留 Astra 5 次、HY 8 次基础结果,均值与分布同时可见。数据既呈现完成度,也帮助识别哪些场景值得继续做稳定性训练。

展开每次运行 ↗
03

完整 Oracle,支撑专项优化

13 道任务均保留标准解、可执行评分与 Oracle 满分回执,并与题目、答卷和轨迹关联。以正确性参照组织专项样本,为定向训练、回归验证和迭代验收提供可测反馈。

查看复测路径 ↗

02 / ASTRA × HY · FOCUSED EVIDENCE

三个场景,呈现值得投入的数据方向。

均值差额 ≥10 个百分点 · 全部符合条件案例

按基础运行的平均得分率差额筛选;每个案例保留两侧全部运行。点击切换场景,查看均值与逐次结果。

重点案例用于展示具体区分信号,不代表全部任务的平均表现。上方总体比较始终包含完整 13 题;得分率 = reward × 100,并非通过率。

03 / TRAJECTORY · EVIDENCE IN MOTION

从作答顺序,看见更具体的优化机会。

39 条基础轨迹 · 可逐次展开

把读取、建模、重算与验证放在同一视图中,观察模型如何形成交付,再将具体步骤与最终得分对应起来。这些过程证据,是专项样本设计与复测讨论的共同起点。

执行序列总览

各行归一化为 0–100% 记录顺序 · 不代表阶段耗时
0%25%50%75%100%

每个色块对应一条记录中的工具调用;分类根据可见工具与命令文本,混合动作单独标记。批量命令仍算一次调用,类别与调用数量用于定位过程,不直接衡量推理成本。

逐模型操作明细与命令片段 点击色块,定位原始步骤

默认选择各模型本题基础得分最接近中位数的运行,同距时取最小 slot;可切换查看全部基础运行。得分仅为所选运行的最终评分,不推算过程分数。原始轨迹保留在数据包,网页提供经过脱敏的工具事件摘要与命令片段。

04 / HY · MODEL DEVELOPMENT OPPORTUNITIES

从已经具备的执行基础,走向更稳定的业务闭环。

本轮留存结果显示,HY 已能在这些任务中形成有得分的交付;复杂规则下的完成度与稳定性,仍提供了可进一步探索的空间。以下是基于差异证据提出的优先验证方向。

关注方向本轮证据与解读建议的数据与复测设计

01跨期财务关系的稳定传导

LNG 案例中,HY 平均得分率为 28.08%,Astra 为 67.48%。这一差异提示,项目级多环节联动值得作为专项验证重点。

围绕经营假设、资本开支、融资及估值之间的连接构造样本;设置中间检查点,观察局部修复是否能带动整条财务链路一致变化。

02业务约束的完整落地

容量与工单案例中,两侧平均得分率相差 22.01 个百分点。规则密集、边界交错的任务,为检验“理解规则后能否稳定执行”提供了切面。

建议补充容量限制、授权范围和有效期边界的组合样本,以输入扰动检查规则是否进入实际计算,并在未见场景中验证一致性。

03多交易组合下的一致性

复杂现金流案例中,HY 平均得分率为 30.14%,Astra 为 43.61%。组合交易下的分类、传导和结果一致性,可作为进一步提升的着力点。

建议由单笔交易递进到组合交易,再引入独立输入变化;将最终数值与关键关系同步检验,让专项训练的收益能在复测中被识别。

这些方向是待复测验证的改进假设,分差本身不构成具体失分根因的证明。下一轮建议统一模型配置、工具环境、thinking effort 与预算,并保留全部尝试。

05 / FROM EVIDENCE TO ITERATION

让每一轮数据投入,都有可复核的反馈。

01 / 定位

选择有区分度的业务场景

围绕已有差异与实际应用优先级,确定财务链路、业务约束或交易组合等专项方向。

02 / 构建

扩展业务条件与边界

以完整 Oracle 为正确性参照,按业务规则扩展输入、边界与组合场景,并同步验证标准解与评分断言。

03 / 验证

用同条件复测确认改善

固定题面与评分版本,重新运行两侧模型,同时关注得分分布、有效交付与新增记录的执行成本。

AVAILABLE IN THE DATA PACKAGE

业务题目与输入→模型答卷与轨迹→完整 Oracle 与可执行评分→版本与文件绑定

为 HY 的下一步迭代,提供更有针对性的数据。

以完整 Oracle 与原始轨迹为基础,把显著的优化空间转化为专项样本、复测口径与可衡量的迭代目标。

讨论定向评测方案 ↗
数据来源与比较口径 13 道任务 · 169 次基础运行

总体与案例

来源为 Sample Gallery HY v2.0 的 RECORDS.json、SUMMARY.json 与 TASK_INDEX.json。总体先计算各题各模型基础运行均值,再对 13 题等权平均。重点案例为全部均值差额 ≥10 个百分点的任务,各题不挑选最高分。

配置与边界

HY 原始模型标识为 tencent/Hy4-preview,执行框架为 codebuddy_code;Astra 为 gpt-6-astra,执行框架为 codex。两侧不是统一运行条件的控制实验;本页不作普遍模型排名或训练增益承诺。

统计与保留

基础记录共 169 次:Astra 65 次、HY 104 次;另 15 次 Astra hint 单独保留,不纳入比较。全部基础记录保留在总体计算中。原始 reward 按 100 倍展示,差额单位为百分点(pp)。HY 轨迹缺少可靠时间与用量字段;开屏图改用记录工具调用数,序列按调用顺序展示,不推算耗时或成本。

材料与标识

全部 13 道任务保留完整 Oracle 标准解、可执行评分器及 Oracle 满分回执,13 份 NOP 基线回执均为零分。回执与文件哈希已核对;本页未重新执行评分,也不把满分参考等同于预期训练增益。数据包同时保留答卷与原始轨迹。HY 标识采用 Tencent Hy 官方网站现行 logo。标识用于识别比较对象,不表示官方背书。

下载评分数据与来源索引 ↓ · 下载轨迹摘要 ↓