SOTIF – AI Training

July 20, 2025专业术语

什么是预期功能安全？

预期功能安全(SOTIF, Safety of the Intended Functionality)是指自动驾驶系统在不存在技术故障的情况下，由于性能局限或使用场景误判而导致的风险控制。这一概念最早由ISO 21448标准明确定义，旨在解决传统功能安全标准(如ISO 26262)未能涵盖的、由系统设计局限引发的安全隐患。预期功能安全的核心在于识别和消除两类风险源：一是由于感知、决策等算法性能不足导致的误判；二是由于系统对使用场景的认知边界不完整而产生的意外行为。对于自动驾驶AI产品经理而言，预期功能安全是产品开发中必须纳入的关键考量。在实际落地中，这要求产品团队不仅要关注硬件可靠性和软件稳定性，更需要建立场景库来验证系统边界，并通过持续的数据闭环迭代算法性能。典型的实践包括：构建corner case数据集、开发场景泛化测试工具链、设计安全冗余架构等。随着自动驾驶技术向L3及以上级别发展，预期功能安全的重要性将愈发凸显，它正在成为衡量自动驾驶系统成熟度的重要维度。

July 20, 2025专业术语

什么是最小风险机动？

最小风险机动（Minimal Risk Maneuver）是自动驾驶系统在面临潜在危险或系统失效时，为降低事故风险而执行的预设安全策略。其核心在于通过有限的操作空间（如减速、靠边停车或保持当前车道）将车辆转移到可预测且稳定的状态，而非追求最优路径规划。该概念源自功能安全标准ISO 21448（SOTIF），强调在感知不确定性或系统局限下，优先实现风险最小化而非完全避免事故。对于AI产品经理而言，最小风险机动的设计需平衡安全冗余与用户体验。例如，当激光雷达突然失效时，系统可能选择逐渐减速至停止而非紧急制动，既避免后车追尾又符合人类驾驶习惯。当前行业趋势正从静态规则（如固定减速曲线）向动态风险评估演进，通过实时计算周边环境威胁度来调整机动策略，这要求感知、决策模块具备更高程度的协同能力。

July 20, 2025专业术语

什么是黑盒测试？

黑盒测试（Black-box Testing）是自动驾驶系统验证中的一种重要方法，指在不了解系统内部结构和实现细节的情况下，仅通过输入输出行为来评估系统功能是否符合预期。这种测试方式将待测系统视为一个不透明的「黑盒」，重点考察其对外表现是否符合需求规范，而非内部代码逻辑或算法细节。黑盒测试通常基于功能需求文档设计测试用例，覆盖正常操作、边界条件和异常场景，以验证系统的鲁棒性和安全性。在自动驾驶开发实践中，黑盒测试尤其适用于验证感知模块的物体识别准确率、规划控制模块的决策合理性等端到端功能。比如通过注入不同天气条件下的传感器数据，观察车辆是否做出符合交通规则的驾驶行为。随着场景库建设和虚拟测试技术的发展，基于场景的黑盒测试已成为自动驾驶功能安全认证（如ISO 21448 SOTIF）的核心手段。值得注意的是，黑盒测试需与白盒测试结合使用，才能全面评估系统的可靠性。

July 20, 2025专业术语

什么是系统级验证？

系统级验证是自动驾驶开发中确保整套软硬件系统满足功能安全与预期性能目标的系统性测试过程。它通过模拟真实世界复杂场景，验证感知、决策、控制等模块的协同运作能力，其核心在于证明系统在极限工况下的可靠性与鲁棒性。与传统单元测试不同，系统级验证更关注子系统间的交互效应，例如传感器冗余机制失效时的降级策略，或极端天气下多模态感知的一致性表现。对于AI产品经理而言，系统级验证的落地需要平衡测试覆盖度与开发效率。当前主流采用「V模型」开发流程，在需求定义阶段即同步设计验证用例，典型手段包括硬件在环（HIL）测试、影子模式数据回灌等。值得关注的是，ISO 21448（SOTIF）标准特别强调针对预期功能安全的场景挖掘技术，这正是系统级验证中AI模型边界测试的关键。建议产品经理在项目早期参与验证标准制定，将用户场景转化为可量化的测试指标。

July 20, 2025专业术语

什么是责任归属？

责任归属（Liability Attribution）在自动驾驶领域特指事故或损害发生时，法律上确定责任主体的过程。这一概念涉及技术、法律与伦理的交叉，需综合考虑系统设计缺陷、人为操作失误、环境因素等多重变量。在现行法律框架下，责任可能由车辆制造商、软件开发商、车主或第三方服务商承担，具体取决于事故成因的因果链分析。从产品开发视角看，明确责任归属对自动驾驶系统的风险控制至关重要。开发团队需通过模块化设计、完备的日志记录系统以及可解释的AI决策机制，构建技术层面的责任追溯路径。例如，当感知系统误判导致碰撞时，传感器数据、算法决策时序等数字证据将成为责任划分的关键依据。当前行业普遍采用ISO 21448预期功能安全（SOTIF）标准，通过定义「合理可预见的误用场景」来界定开发者的责任边界。

July 20, 2025专业术语

什么是HAZOP分析？

HAZOP分析（Hazard and Operability Study）是一种系统化、结构化的风险评估方法，最初起源于化工行业，现已被广泛应用于包括自动驾驶在内的复杂系统安全评估领域。该方法通过引导词（如「无」「多」「少」「反向」等）对系统设计或操作流程进行系统性偏差分析，识别潜在危险源和可操作性缺陷，从而提出针对性的改进措施。在自动驾驶汽车开发中，HAZOP分析常被用于验证感知决策系统、控制算法或人机交互设计的可靠性，尤其擅长发现那些在常规测试中难以暴露的边界条件风险。对于自动驾驶AI产品经理而言，理解HAZOP分析的价值在于其能提前暴露系统脆弱性。例如在规划变道逻辑时，通过「反向」引导词可模拟错误的车道线识别场景；使用「延迟」引导词则能测试通信时延对协同驾驶的影响。这种方法与传统的故障树分析形成互补，特别适合应对自动驾驶系统中多因素耦合引发的「长尾风险」。当前ISO 21448（SOTIF）标准已明确推荐将HAZOP作为预期功能安全的分析工具，其结构化思维也可迁移至AI产品的需求评审环节。

July 20, 2025专业术语

什么是UL 4600标准？

UL 4600标准是由美国安全实验室（Underwriters Laboratories）制定的全球首个专门针对自动驾驶汽车安全评估的行业标准，旨在为L4级及以上自动驾驶系统提供全生命周期的安全保障框架。该标准采用基于目标的灵活评估方法，要求企业证明其产品在预期运行环境（ODD）内具备可接受的风险水平，核心内容包括功能安全、预期功能安全（SOTIF）、网络安全以及人机交互等关键维度。与传统的汽车安全标准不同，UL 4600特别强调自主决策系统的可解释性、故障应对策略和持续学习能力的验证。对于AI产品经理而言，理解UL 4600有助于在开发早期构建符合安全要求的系统架构。例如标准中关于「预期行为验证」的要求，直接影响感知算法冗余设计和决策模块的失效模式分析。当前Waymo、Cruise等头部企业已将该标准作为产品认证的重要参考，国内部分车企在出海项目中也开始引入UL 4600作为技术合规的补充依据。值得注意的是，该标准与ISO 21448（SOTIF）、ISO 26262等现有规范形成互补关系，建议结合《自动驾驶汽车安全第一》白皮书进行延伸阅读。

July 20, 2025专业术语

什么是Pegasus安全框架？

Pegasus安全框架是百度Apollo平台为自动驾驶系统设计的全生命周期安全保障体系，其名称源自希腊神话中象征可靠性的飞马形象。该框架从功能安全（ISO 26262）、预期功能安全（SOTIF）和网络安全（ISO/SAE 21434）三个维度构建防御体系，通过需求分析、架构设计、实现验证和运营监控四阶段闭环，确保自动驾驶系统在预期使用场景下的行为安全。其核心创新在于将传统汽车电子安全标准与AI系统特有的不确定性风险进行协同治理。对于AI产品经理而言，Pegasus框架的实际价值体现在其风险量化评估工具链上。例如通过场景库驱动的危险行为预测模型，可在系统开发早期识别90%以上的潜在失效模式；而运行时监控模块则采用多传感器数据一致性校验机制，能实时捕捉激光雷达与摄像头感知结果冲突等异常状况。百度Apollo 5.0的实际部署数据显示，采用该框架后安全相关OTA更新频率降低37%，这为产品商业化落地提供了重要的合规性保障。

July 20, 2025专业术语

什么是风险评估？

风险评估是自动驾驶系统开发中的核心环节，指通过系统化方法识别、分析和评价潜在危险事件发生的可能性及其后果严重程度的过程。这一过程不仅需要量化计算特定场景下的事故概率，还需综合考虑环境复杂度、传感器可靠性、算法鲁棒性等多维度因素，最终形成对系统安全性能的客观判断。在技术实现层面，风险评估融合了概率统计、故障树分析(FTA)和失效模式与影响分析(FMEA)等工程方法，其量化结果直接指导自动驾驶系统的安全阈值设定与功能降级策略。对于AI产品经理而言，风险评估需要贯穿产品全生命周期。在开发初期需建立危险场景库并进行风险矩阵评级，在测试阶段需通过影子模式积累实际道路风险数据，在运营阶段则需建立实时风险监控系统。值得注意的是，自动驾驶的风险评估具有动态演进特性，当系统遇到训练数据未覆盖的极端案例时，需要启动在线风险评估机制触发最小风险状态。当前行业普遍采用ISO 21448预期功能安全(SOTIF)标准框架，将可接受风险阈值设定为每小时10^-8次致命事故，这一指标正推动着感知算法冗余设计和决策规划保守策略的技术演进。

July 20, 2025专业术语

什么是预防安全？

预防安全（Preventive Safety）是自动驾驶系统设计中的核心概念，指通过前瞻性技术手段主动识别潜在风险并采取干预措施，以避免事故发生或减轻事故伤害的安全策略。与传统被动安全系统不同，预防安全强调在危险发生前进行预判和防范，其技术实现通常依赖于多传感器融合、环境建模、风险预测算法以及车辆动力学控制等模块的协同工作。典型应用场景包括碰撞预警、自动紧急制动、车道偏离纠正等主动安全功能。在自动驾驶产品开发中，预防安全系统的设计需要平衡安全性与舒适性，既要确保系统对危险场景的敏感度，又要避免过度干预导致用户体验下降。当前技术趋势正从规则驱动型预防向数据驱动型演进，通过海量真实驾驶数据训练的深度学习模型，能够更精准地识别复杂场景下的潜在风险。值得关注的是，ISO 26262功能安全标准和SOTIF（预期功能安全）标准为预防安全系统的开发提供了重要框架。

Tag: SOTIF

什么是预期功能安全？

什么是最小风险机动？

什么是黑盒测试？

什么是系统级验证？

什么是责任归属？

什么是HAZOP分析？

什么是UL 4600标准？

什么是Pegasus安全框架？

什么是风险评估？

什么是预防安全？

Your cart