超越 CodeWikiBench:更高层次的软件架构设计评测基准

Q: Codewikibench是个不错软件文档的bench,但这个是不是太接近代码层,是否有更高层次的架构文档层次的bench?

我把这个问题分成两个角度看:真正能承担 L3/L4 架构工作的 AI 软件产品,以及目前在相关架构任务评测中表现最好的大模型。

我的结论是:

  1. L3(系统架构理解):已经有一些值得试用的工具和模型,但距离完全可信还有差距。
  2. L4(架构设计、风险判断、架构评审):目前还没有一个经过广泛、严格的公开 Benchmark 验证,可以称为成熟的优秀产品。
  3. 最值得关注的是新一代的 AI 架构文档评审工具,以及能够把设计文档、ADR、架构知识库和代码仓库结合起来的系统。

一、我认为最值得试用的 AI 软件产品

以下是按实际工作匹配度,而非单纯知名度排序。

1. ArchDocs AI Review

最值得优先试用

L3 + L4

Stop Drawing Architecture Diagrams Manually: Meet the Open-Source AI Architecture Review Agents | Microsoft Community Hub

ArchDocs

官方网站 · AI Review 功能介绍

这是目前我觉得最接近你想建设的 AI 架构师的产品。

它的 AI Review 有几个非常有价值的设计:

  • 不只是读取当前设计文档,还能读取组织里的其他设计文档、ADR、架构图。
  • 可以连接 GitHub 等代码仓库,检查设计与实际代码是否一致。
  • 评审时将代码版本固定到具体 commit,便于复核。
  • 每个问题给出类型、严重程度和证据。
  • 允许持续与 AI 讨论评审发现,可以接受、驳回或形成评审意见。

尤其有意思的是,它把评审问题分成五类:

问题类型 含义
Premise 设计所依据的假设是否错误
Better Approach 是否存在更好的设计方案
Risk 当前设计是否可能造成具体故障
Gap 设计是否遗漏了必要内容
Inconsistency 是否与代码、ADR 或其他文档矛盾

它还有一个值得注意的功能:Try to break this plan,让 AI 主动寻找设计方案可能失败的具体方式,而不是只做一般性检查。

image

ArchDocs+2

我的评价:

  • L3:比较有价值,因为它把文档、架构图、历史设计和实现代码放在一起。
  • L4:方向非常对,特别是 Premise、Risk、Better Approach 这些评审维度。
  • 局限:AI Review 目前属于 Early Access;代码沙箱可以搜索、阅读代码,但不能直接运行代码进行验证。没有公开的独立 L3/L4 基准成绩。

我会把它作为第一个值得深入研究的产品。

2. Suggestibility.ai

L4 · 多模型评审

Workera for Business Leaders | Workforce Intelligence

Suggestibility.ai

官方网站

它的思路与传统单模型架构评审非常不同:

把一个架构方案提交给多个不同模型家族,让它们分别独立评审,然后综合意见。

例如,三个评审者分别来自 Claude、GPT、Grok。

它强调三个结果:

  • Consensus:不同模型都认同的问题。
  • Dissent:少数模型提出但其他模型不同意的问题。
  • Recommendations:按优先级组织的建议。

image

AI Expert Review Board

我觉得它最有价值的不是多模型投票,而是保留不同模型之间的分歧。

比如:

  • Claude 认为某个设计存在高可用风险;
  • GPT 认为该设计在目前的业务规模下可以接受;
  • Grok 认为需要补充容量评估后才能判断。

如果最终直接投票,可能会把少数派的正确意见丢掉。

它把不同意见保留下来,这一点非常值得借鉴。

局限:它主要是技术制品的多模型评审平台,不等同于拥有企业完整架构知识库的 AI 架构师;官方网站上的展示报告是示例性质,也没有公开的独立架构评审准确率。

3. ArchiGov

L3 + L4 · 架构治理

ArcKit Articles | Enterprise Architecture and AI Governance

ArchiGov

官方网站 · 在线演示与项目入口

这个产品更关注企业架构治理,而不只是某份文档的技术审查。

它的核心包括:

  • AI 辅助架构决策;
  • 根据企业自己的标准和设计模式进行检查;
  • 架构评审会议及各参与者的意见记录;
  • 设计决策与实际运行架构的偏差检测;
  • 审计证据及决策追溯。

它还展示了从 Azure 自动提取实际架构模型的能力。

image

archigov

我的评价是:

它值得研究的重点是 L4 的治理流程:

架构设计 → 标准检查 → 专家决策 → 实施 → 生产架构偏差检测。

但目前公开展示的重点是治理工作流和 Azure 场景,不能据此认定它在复杂架构推理方面有领先表现。

4. Ardoq、LeanIX、ADOIT

L3 · 企业级架构建模

Analytics | Features | Ardoq

Ardoq

4.8/5 · Gartner 用户评分

官网

Anwendungsfall: Application Portfolio Assessment | SAP LeanIX

SAP LeanIX

4.7/5 · Gartner 用户评分

官网

Capability-based Planning | ADOIT

ADOIT

4.7/5 · Gartner 用户评分

官网

这里需要区分一下:它们不是以 LLM 架构评审见长的产品,而是成熟的企业架构管理(EA)平台。

它们比较擅长:

  • 企业应用及系统资产管理;
  • 系统之间的依赖关系;
  • 业务能力和 IT 系统映射;
  • 架构变更影响分析;
  • 企业技术路线和架构治理。

Gartner Peer Insights 2026 年 11 月的企业架构工具评价中,Ardoq 为 4.8/5(239 条评价),LeanIX 为 4.7/5(485 条评价),ADOIT 为 4.7/5(243 条评价)。这些是用户体验评分,不是 AI 架构推理准确率。

image

Gartner Peer Insights+2

我的看法:

如果要建立一个涵盖多个部门、几十个物理子系统的企业级架构知识体系,这类产品值得研究。它们解决的是 L3 的系统关系和企业架构全景问题。

但不要把它们等同于 AI 架构评审专家。

二、如果看底层大模型,哪些实际测出来比较强?

这里我重点看三个比较接近 L3/L4 的公开实验,而不是拿 SWE-bench 这种代码工程榜单来代替架构能力评测。

1. SADU:架构图理解能力

这是 L3 的基础能力:能不能真正理解系统架构图、时序图、数据模型。

公开测试结果:

模型 架构图理解准确率
Gemini 3 Flash Preview 70.18%
Gemini 2.5 Flash 69.68%
Gemini 3.1 Flash Lite Preview 66.31%
GPT-5 Nano 55.45%
Claude Sonnet 4.5 56.36%

image

arXiv+1

当前这项测试的第一名

Gemini 3 Flash Preview 在低思考等级下,还达到过 72.85%。

这说明一个很有意思的事情:增加推理强度不一定提升架构图理解能力。

但是,我不认为 70% 就算优秀。尤其是行为图和复杂连接关系,模型仍然容易理解错误。

image

arXiv

2. SAKE:架构知识和专业推理能力

这项测试有 2,154 道架构专业题,涵盖设计模式、质量属性、架构风格、架构解决方案等。

公开测试成绩约 94%

模型 Zero-shot Five-shot
GPT-5.4 93.95% 94.13%
Claude Sonnet 4.6 93.71% 93.80%
Claude Opus 4.6 93.57% 94.23%
Gemini 3.1 Flash Lite 93.66% 93.14%
DeepSeek V3.2 93.61% 89.40%
Qwen3 235B A22B 93.38% 93.00%

image

arXiv

这里我特别看好两个方向:

  • Claude Opus、GPT:专业架构知识和复杂问题分析能力。
  • Qwen3 235B:知识评测成绩非常接近第一梯队,成本优势明显。

但一定要注意:SAKE 有相当一部分是四选一题目,考察的是架构知识,不代表模型就能评审复杂系统。

另外,这些是论文发布时所测的模型版本,不能直接当成 2026 年 11 月最新模型的排名。

3. R2ABench:从需求到系统架构设计

这是更高层次的测试。

它给 AI 一份 SRS(软件需求规格说明书),让 AI 输出系统架构图,再比较组件、依赖关系、需求覆盖、架构合理性等。

这项测试值得关注的结果是:

模型/方案 主要表现
GPT-5 Direct 语义层面表现突出,完整性、忠实性、架构合理性和可追溯性领先
Claude Sonnet 4.6 Direct 组件覆盖等结构指标表现不错
Claude Sonnet 4.6 + OpenHands 语法有效性达到 100%,部分结构指标明显提高
Qwen3-Coder + OpenHands 某些结构相似度指标领先,但语法有效率和语义质量存在不足

image

arXiv+1

真正值得警惕的数据:

所有测试方案的 Edge F1 都没有超过 0.1758。

也就是说,AI 能够找到系统有哪些组件,但对于组件之间真正的依赖关系,仍然理解得很差。

这对银行架构评审很重要,因为一个系统有多少组件并不是最难的问题,组件之间的调用、数据流、依赖和故障传播才是核心。

三、L4 有没有真正评测得比较好的?

我还发现一项特别值得关注的 2026 年 9 月研究。

论文:

An Evidence-Based LLM Framework for Expert-Validated Clean Architecture Conformance Assessment in Enterprise Software Systems

论文原文

这项研究比前面的知识问答、架构图识别更接近你关心的 L4。

它测试的是 AI 能否评估企业软件是否符合 Clean Architecture 原则。

研究选取了 36 个模块,产生 1,136 条待评审发现,由三位专家进行盲评和共识确认。

结果非常值得注意:

95.25%

AI 对架构问题严重程度的判断与专家最终共识的一致率

0.0118

平均评分绝对误差

1,136

专家复核的评审记录

实际测试的模型

模型 严重程度一致率
Qwen 3.6 Plus 95.49%
DeepSeek V4 Flash 95.00%

image

MDPI

这项研究还有个值得注意的细节:Qwen 3.6 Plus 的评估结果略好于 DeepSeek V4 Flash。

但这里必须说明:

  • 它是特定 Clean Architecture 规范下的代码架构合规性评估,不是完整的银行架构设计文档评审。
  • 使用了静态代码证据、明确评分规则和结构化提示。
  • 这不是模型裸跑的成绩,而是一个完整评测流程的成绩。
  • 36 个模块和 3 位专家的规模还不足以证明它可以泛化到所有类型的企业系统。

image

MDPI+2

我认为这项研究尤其值得你们参考,因为它直接涉及你前面提到的一个痛点:AI 经常把问题的严重程度判得过重。

它真正说明的是:证据约束 + 明确评分标准 + 专家验证,比单纯更换一个更强的大模型重要。

另外,一项 2026 年 1 月针对架构设计文档的研究,也发现 LLM 与架构师判断的一致性会受到设计文档本身质量的显著影响,目前仍存在不一致问题。

image

arXiv

四、把软件和模型放到一起,我会怎样选?

我的推荐清单

第一优先级

ArchDocs AI Review

研究其文档、ADR、代码联合评审的产品设计,最接近真实 L4 架构师工作流。

第二优先级

Claude、GPT、Gemini 等前沿模型

自己构建统一测试集,比较复杂文档理解、架构分析及风险严重度判断,不要只用模型厂商的通用榜单。

第三优先级

Suggestibility.ai

重点研究多模型独立评审、保留分歧、共识分析的做法。

第四优先级

Ardoq / LeanIX / ArchiGov

重点研究跨系统架构建模、架构知识管理、架构治理与决策追溯。

工程辅助

ArchUnit

官方网站。通过架构规则自动检查模块边界、依赖方向、循环依赖等,属于确定性架构约束验证,不能代替 L4 设计判断。

image

ArchUnit

五、针对你们银行基础技术部门,我建议做一次真正有价值的横向测试

你们有九个技术领域、三十多个物理子系统,而且有不同领域的专业架构师。

我觉得可以选择其中 10~15 份有代表性的历史架构设计文档,建立一个内部测试集。

让下面几组方案在完全相同的文档和问题上进行盲测:

对照组 测试对象 目的
A 最新 Claude 单模型架构评审
B 最新 GPT 单模型架构评审
C 最新 Gemini 多模态架构图与文档评审
D ArchDocs AI Review 成品架构评审产品
E 多模型评审组合 检验独立评审和分歧机制
F 你们自建的领域 Skill 检验领域知识和银行规范带来的增益

不建议用一个总分决定胜负,而是重点测:

  1. 架构图和系统关系理解准确率。
  2. 真正严重问题的召回率。
  3. AI 所报问题的准确率(Precision)。
  4. 严重程度与专家的一致率。
  5. 合理技术权衡被误判的比例。
  6. 建议的可执行程度。

尤其建议单独统计:

专家认为不构成问题,但 AI 坚持报为较严重的比例。

这个指标很可能是你们自建架构师 Skill 与普通 AI 架构评审产品拉开差距的关键。

我的最终判断是:现在值得直接试用的产品,我首推 ArchDocs;值得研究的评审机制,我首推 Suggestibility.ai;值得借鉴的实证研究,我首推 2026 年 Clean Architecture 合规评测研究。

但真正能胜任银行 L4 架构评审的产品,目前还没有足够证据可以宣布谁已经胜出。