芯片厂商正越来越多地采用基于人工智能的工具，对用于各类边缘场景的半导体进行验证，这些场景包括机器人、无人机、自动驾驶汽车等实体 AI。但他们对这类技术仍持谨慎态度，会限制 AI 的执行范围，并在必要时依靠人工干预检查 AI 的运行结果。
这些实体 AI 系统与大、小语言模型、计算机视觉模型、视觉‑语言‑动作模型等相连。在许多场景下，人们会使用 AI 工具监控这些模型，对海量数据集进行筛选以发现异常。
从功能安全与网络安全角度看，由 AI 工具监督连接了小语言模型与大语言模型的实体 AI 设备，看似形成了一个危险的闭环。如果模型被输入错误或带偏差的数据，或最坏情况下恶意攻击者控制操作系统并启动具备自主能力的武装无人机，系统将极易受到攻击并出现意外行为。但即便在理想情况下，也不应让 AI 工具全权管控人形机器人。至少在目前，从设计、验证到监控的全流程中都需要人类参与。
“在人类完全脱离该闭环之前，为保持一定程度的审查，我们仍需要一套制衡机制。” 楷登电子（Cadence）验证软件产品管理高级集团总监马修・格雷厄姆表示，“毫无疑问，执行这些制衡措施的人员会得到 AI 的辅助。我希望如此，但我不认为存在可能出错的完全自主反馈闭环。制衡机制足够完善。EDA 工具本身就是该流程的一部分，用于确保无论系统为何，都具备合适的冗余度与功能安全等级。”
但这套制衡机制依赖实体 AI 企业秉持诚信原则建立必要的安全规程，而这一点无法得到保证。例如，近期一篇新闻报道指出了某企业跳过关键步骤所引发的担忧。
基于 AI/ML 工具的安全保障应建立在可映射至标准功能安全生命周期的核心支柱之上。“这包括危害与风险分析、验证与测试、认证与确认，而对于机器人领域，还包括与人类的动态交互。” 想象力科技（Imagination Technologies）工程与技术负责人、系统与功能安全工程专家安德鲁・约翰逊表示，“工具评估与认证在功能安全领域十分普遍。该工具是否会给设计引入系统性错误？是否会影响硬件设计？是否会影响软件？是否会影响代码？它可能是一款验证或确认测试工具，在这种情况下，你能否信任该工具正确检测错误或不产生误报？需要考虑的问题很多。这意味着，由于功能安全传统上应用于更强确定性的系统，而非基于统计处理的系统，复杂度正以数个数量级提升。”
其他业内人士也认同需要保持谨慎。“工程师应将当前的 AI/ML 工具视为开发工具，这意味着必须对工具使用进行恰当测试或认证。” 是德科技 EDA 首席安全分析师拉杰什・维莱加拉蒂表示，“从 AI/ML 获得的输出应具备可复现性与可审计性。这可能包括定义大语言模型的输入规则。人类应参与闭环，设定目标与风险，并完成最终审批。这一要求可同时出于安全与安防目的。”
换言之，在依靠 AI/ML 工具保障实体 AI 安全与安防方面，其可信程度存在上限。“AI 是解决方案的一部分，因为你可以用 AI 进行监控。” 新思科技（Synopsys）产品管理高级总监达纳・诺伊施塔特表示，“最终你会使用多个 AI，其中一个可作为安全监控器。如果它具备足够的隔离性而无法被篡改，就能为安防带来显著价值，无论机器人其余行为是否由 AI 控制。”
保护实体 AI 类似于搭建防火墙。“攻击者会尝试绕过防火墙，如果能控制防火墙，就会占据极为有利的位置，因为可以修改防火墙配置，拦截或放行各类信息。” 诺伊施塔特表示，“实体 AI 与此逻辑高度相似。我们不断为其增加层层复杂度，但风险本质相同，只是在 AI 介入后以不同形式体现。”
专用 AI/ML 程序即专家系统已存在数十年，可用于下棋、驾驶、分析蛋白质折叠。“简而言之，这些程序都是专用系统。” 芯佰思（Rambus）硅安全产品高级总监斯科特・贝斯特表示，“它们不会像 ChatGPT 那样流畅、完全无冲突地与人对话，但或许能助力攻克癌症。在芯片级安全方面，我们评估了数款专家系统，其目标是保障微电子设计与验证中抗篡改安全功能的有效性。目前没有一款能真正实现效率倍增。现阶段，使用它们所需的投入与不使用它们直接完成工作相当。但我对此持乐观态度。”
目前，芯片设计人员应负责实体 AI 的安全部分。“任何嵌入式安全应用都具备多层架构。” 新突思科技（Synaptics）物联网与边缘处理器副总裁兼总经理约翰・威尔表示，“必须考虑所搭建的安全层级，以及威胁模型是什么。我们为无线产品大量整合、构建优化软件，安全是其中重要一环。”
语言模型与机器人的发展
发展到当前水平的小语言模型与大语言模型，是支撑下一代机器人的必要条件。其结果是诞生了 “表现尚可的实体 AI 通用大脑，如同 ChatGPT 之于数字 AI。” 英伟达机器人与边缘 AI 副总裁兼总经理迪普・塔拉在英飞凌 OktoberTech 大会上表示。
图 1：人形机器人架构基于计算与连接、感知、执行与能源技术。同样离不开如今仿真技术的先进能力。塔拉解释道，仿真比真实世界测试更快、更安全、成本更低。“但在机器人领域，仿真到现实的差距一直很大，因此无法认为仿真中的表现能代表现实情况。由于大语言模型与仿真技术已相对成熟，全球顶尖的科研人员、初创企业、风投资本与大型企业都在转向解决通用机器人大脑这一问题。”
监督 AI
亚利桑那州立大学计算与增强智能学院助理教授、系统学习评估与自然化实验室（LENS Lab）主任兰萨鲁・塞纳纳亚克的研究指出，AI 审计工具可帮助提升连接实体 AI 的语言模型的完整性，但必须由人类界定故障模式范围。
“我们拥有 AI 审计工具，它会通过多种方式干扰大模型，然后生成常见故障模式报告。” 塞纳纳亚克表示，“我们将结果交给人类，由人类判断：‘这种故障模式很危险’或‘这种故障模式可以接受’。机器无法独立完成审计，因为它无法与人类价值观、伦理等对齐。人类无法对模型进行穷尽测试，因此我们开发了一种可扩展技术，用于干扰系统并为人类生成简洁报告。人类查看报告后，指示模型减少特定故障模式，使其与人类价值观对齐。”
通过反馈闭环，AI 审计工具会逐步更贴合人类需求。“值得注意的是，人类价值观也会随时间改变，只是速度更慢。” 塞纳纳亚克说，“如今可接受的内容，五年左右后可能不再被接受。”
想象力科技的约翰逊同样认为，人类价值观与道德是不可忽视的方面。“你该如何真正衡量智能？机器学习模型中的智能程度很低，它高度依赖于你提供的数据。”
因此，极端场景是监控大语言模型的 AI/ML 工具的薄弱环节。“开发 AI 工具的核心目标，是对未见过的场景具备置信度。” 约翰逊表示，“不安全数据集通常规模很小，而统计验证可在此发挥作用，提供更丰富、多样化的动态数据，以及大量数据或传感器输入。”
AI/ML 芯片验证与功能覆盖率工具
实体 AI 系统的安全与安防必须从半导体层面的功能验证开始，以确保安全关键芯片在任何情况下都能按预期运行。在这一点上，汽车与实体 AI 存在共通之处。
AI/ML 工具可辅助该工作流中的多项任务，包括自动化代码分析审查、功能覆盖率、架构或规格审查，以及提升验证生命周期效率，尤其是在覆盖极端场景时。“在所有现有验证流程与数据集上，你可以发现规律并找到未覆盖的部分，而机器学习可在这些极端场景中提供帮助。” 约翰逊说，“但核心问题在于，用于训练模型的数据是否优质、数据量是否充足，且训练数据应与测试数据相互独立。我们必须避免二者直接关联，否则毫无价值。”
许多新型 AI/ML 与智能体 AI 工具都聚焦于验证，因为这是人类工程师流程中耗时极高的环节。一旦出现失误，成本也极为高昂，尤其是高端机器人与自动驾驶汽车芯片将采用先进工艺制造。
最大挑战之一是根本原因分析（RCA）。“在软件领域，人人都可以使用助手工具。”ChipAgents 创始人兼首席执行官威廉・王表示，“输入、输出、问题、代码一应俱全，出现缺陷就修复并提交 GitHub 拉取请求。但半导体行业截然不同，因为技术栈极深，对于超大规模仓库的根本原因分析而言难度极大。假设你在一家前沿芯片公司研发新款 GPU，通常涉及 100 亿个逻辑门，不可能将 100 亿个逻辑门输入单个语言模型。这就是为何需要 AI 智能体探查仓库内容，并提取所需上下文。”
图 2：多智能体 AI 根本原因分析系统。AI/ML 工具可实现整个根本原因分析流程自动化。“我们帮助你运行仿真。” 威廉・王说，“我们可以查看你的测试平台，协助修复测试平台。我们分析日志文件、波形，协助修复寄存器传输级（RTL）代码。”
但设计验证的终极问题依然是：“谁来验证验证工具？”
“这是一个无限回溯的循环问题，因为最终的基准事实由谁定义？”ChipAgents 工程主管梅希尔・罗拉表示，“我们能否检查规格书的一致性？能否检查测试计划与规格书的一致性？能否实现从规格书到测试计划、再到测试平台的全链路可追溯性，从而更清晰地明确谁在执行验证？”
ChipAgents 将功能覆盖率作为 AI 智能体帮助节省人类工程师时间的关键方向。“一个值得关注的问题是，我们能否开发一套系统，生成定向测试用例，能够跨越多层间接调用，最终找到并定位触发单一状态表的方式，从而在大型子系统中遍历状态空间。” 罗拉说。
通过配置智能体编写定向测试用例可缩短仿真时间，这类用例在仿真中运行速度更快。“系统以完全自主模式运行。” 他表示，“可批量、通宵运行，用算力时间换取工程时间，这通常是极具价值的交换。”
当一套系统尝试通过多层间接调用找到目标路径时，另一套完整系统会以高度随机化方式生成 UVM 测试平台。“我们熟知约束随机化，这是设计验证工程师最基础、最核心的手段。”
大语言模型工具会从目标文件中提取大量不同信息，输出自然语言内容，所有工程师均可阅读，尽管与黑白分明的代码相比，自然语言存在模糊性。“我们必须接受这一难点，但它同样也是优势。” 他继续说道，“传统仿真器与形式化工具完全不使用英语，但我们认为这种方式价值被低估、未被充分利用。我们能获得更强目的性与进展的核心途径，就是通过自然语言、规格书、设计文档、测试计划等。”
其目标是利用大语言模型的层级能力与抽象理解解决覆盖率相关的各类问题。“我们的目标是持续启用多个智能体，致力于提升现有测试平台的覆盖率，编写定向测试用例，并借助这些用例补全功能覆盖率模型中定义的剩余覆盖率。” 罗拉表示。
其他正在开发的工具与方法包括更强确定性与算法化工具、解析覆盖率数据库、分支与翻转覆盖率，以及构建 UVM 测试平台。
图 3：智能体 AI 可用于多种验证任务。总体而言，在实现实体 AI 功能安全的目标中，基于统计的功能覆盖率是否是 AI/ML 工具的最佳应用场景之一？
“说实话，如果你想做好、做透彻，没有任何一件事是简单的。” 想象力科技的约翰逊说，“这回到能力本身。在机器学习中验证概念，引入部分或完整的机器学习流程可能很容易。但真正理解其中的危害与风险，真正领会改进的细微之处并进行量化，难度极高。确保其不会破坏功能安全相关设计，同样极为困难。如果你想做好、想负责任且安全地实现，没有任何一项工作是简单的。但这不会、也无法阻止人们尝试。”
结论
在谨慎使用的前提下，AI/ML 工具可帮助提升数据密集型实体 AI 与大语言模型系统的安全性，并协助验证驱动这些系统的芯片。
“AI 只是自动化的下一步，而自动化已经存在数十年。” 是德科技 EDA 高级总监亚历山大・佩特尔表示，“自动化意味着你拥有规则、可遵循的标准，所有内容都以可自动化的格式（即代码）呈现。数字电路、VHDL、版图与原理图一致性检查（LVS）等基本都基于规则，自由度受限。相关标准已发展数十年，晶圆厂等芯片生产企业为所有潜在故障设置了防护栏。”
将 AI 引入功能覆盖率等领域是自然的过渡。“这不是巨大的阶跃变化。” 佩特尔说，“现在你让 AI 代替人类编写代码，这很容易。”
通过承担流程中重复性、高耗时的部分任务，AI/ML 工具还可帮助弥补人才缺口。“毫无疑问，我们看到对验证工具与验证工程师的需求持续增长，增速超过行业整体人才培养能力。” 楷登电子的格雷厄姆表示，“这正是我们认为 AI 将弥补的缺口之一。我不认为有人会因 AI 失业。未来的情况是，我们需要招聘 10 名工程师却只找到 4 名，这一缺口至少会部分由 AI 提升的生产力弥补。”
但无论 AI/ML 以何种方式、在何处使用，最终都回归到人、流程与能力，以确保所有工作负责任、可信地完成。想象力科技的约翰逊表示：“问题困难且复杂。因此，无论使用何种工具、何种技术，在直接切入机器学习领域之前，都应重点关注工程研发团队的能力建设，搭建稳健的框架与流程，助力系统开发并合理、高效使用工具。”
成功使用 AI/ML 工具还依赖于对模型的理解。“这包括模型来源、使用方式、在约束与限制下的输出结果，以及与其他数据点（可能由机器学习生成，也可能不是）之间的平衡。” 约翰逊说，“讽刺的是，在机器学习工具与数据集的支持下，你可能需要更少的工程师。但我的观点是，必须提前防范问题，否则问题大概率会发生。”
<!-- 非定向300*250按钮 17/09 wenjing begin --> <!-- 非定向300*250按钮 end -->
</div>
