清华大学车辆与运载学院副研究员王红：预期功能安全量化评价指标初探

2020年12月3日，由中国汽车工程研究院主办的第五届i-VISTA智能网联汽车国际研讨会隆重举行。在中国智能网联汽车产业创新联盟CAICV-SOTIF工作组会议上，清华大学车辆与交通学院副研究员、智能出行研究所副所长王鸿发表了“预期功能安全量化评价指标的初步研究”主题演讲

清华大学车辆与交通学院副研究员、智能出行研究所副所长王鸿。

以下为演讲实录:

非常感谢陈老师对预期功能安全性的量化评价指标做了这么详细的报告，研究非常深入。那么我的报告会从更宏观的层面给大家介绍一个预期功能安全性的量化评价指标的初步设想，让大家对该领域有一个充分的了解，然后再看是否实用。所以这个目录看起来内容很多，其实内容并不是特别多，一共23页。第一个是预期功能安全的问题及其关键难点，所以这里是预期功能安全定义的一个过期号。预期功能安全的主要关注点是功能不足、性能有限或可合理预见的人员互操作性造成的危害。

为什么要加这些内容？因为我发现今天在场的专家并不是都对预期有详细的了解，所以我特意把这部分拿出来和大家一起回顾一下。

那么这里的道路环境包括随机场景变化、非常规交通参与和交通环境干扰。

此外，自动驾驶系统的局限性还包括系统的功能局限性，AR算法的局限性，司机和乘客的合理雇佣，包括事件的偏差，驾驶的疲劳，人员的雇佣。那么这里有一个刚才陈老师提到的典型案例。大家都喜欢拿出来说，开发这款车，把玉溪木板前的白色货车车厢鉴定为一种白云，导致了这样的事故。这是预期功能安全的典型案例。

那么根据asare 21448我们可以看到，预期功能安全最难的部分其实是产品部分Arnold C的安全区域。

此外，在研究过程中，我们将预期功能安全分为感知层、决策层和控制层三个层次，对预期工作安全进行研究、感知和控制，这也是我们后面提出的预期功能安全评价体系的参考。那么目前预期工作安全的问题包括感知不足，主要来自感知层面，包括漏检和误检，以及测量的不准确，主要是场景的随机变换和人工智能算法的不确定性造成的。

然后第三就是验证不全面，测试里程长。那么下面就是预期功能安全量化评价体系的总体思路，这是我和大家讨论的重点。给大家讲一个我们这样总结出来的心路历程。因为很多问题是在公共安全发展之后才发现的，有了预期的功能和智能算法的应用，并不能涵盖所有关于预自动驾驶的安全问题，所以出现了预期的功能安全问题，也就是q21448的出现。

但是，在现有的数据中，正如我在前面的介绍中所说的，预期工作安全的评价体系来自于硬件系统的功能安全评价体系，比如今天上午恐怖stpasmea认可的预期功能安全分析评价方法。

在我预期的功能安全研究开始时，也就是去年7月，当我刚刚开始研究时，我还和张雨晴谈过。我当时特别反对功能安全的SS评价方法，因为我觉得是功能安全失效导致的这样一种分析方法，而且其中涉及的EMC比较分散，感觉不适合我们预期的功能安全评价。然而，当我进一步了解它之后，我发现我们不能完成……ely摒弃功能安全评价的思路，但要在此基础上谈，更适合预期功能安全的一种评价思路。

那么，在了解预期功能安全的量化评价体系的过程中，我们会发现，由于它伴随着人工智能算法的不确定性，我们也借鉴计算机部门的做法，考察了他们对人工智能算法不确定性的评价，因为不确定性是我们目前预期功能安全的问题。

那么我们必须在这里进行跨学科、跨领域的交流，以克服我们预期的功能安全。因此，从感知、决策乃至预测的角度，我们对预期功能安全不确定性的评价方法进行了更深入的研究。

比如在环境传递算法和不确定性评估中，我们主要找了牛津大学一个非常年轻的教授，叫延安盖奥。他们提出了一个类似于b Bs推广的语义切分方法，在里面使用MC job out，就是用这个方法或者公司训练的两个典型方法，提出了预测器和互信息。这个思路比较符合我们之前的商的概念，所以我没有跟踪的是1011团队的所有研究。他们先研究了人工智能算法的不确定性，然后才有机会把这些不确定性的方法放到我们的车辆领域。

这也回答了刚才重庆大学王珂老师的一个问题，就是如何评价预期工作安全中涉及的算法不确定性。我觉得这是很有参考价值的参考资料，可以参考和学习。

另外，在决策算法的不确定性分析中，我们发现MIT和cmd做了大量的工作，即决策算法的前端是预测算法，所以我们通过预测算法来预测周围环境、人和车辆的轨迹。如果他的预测不够准确，会直接影响我们决策的安全性。

所以这里主要是前面的研究，主要是针对预测算法，如何把他们对周围车辆和闲散人员预测的不确定性引入到我们的决策模块中，让我们的决策有预测性，这样一种具有不确定性敏感性的决策方法，然后他们提出，如果我对周围环境预测的不确定性很高，应该采取一些降级或者应急处理的方法。所以在这里我觉得对于预期功能安全的研究也是有意义的，所以这样一个预期功能安全量化评估体系的总体思路是基于参考函数的内容和计算机领域所有可能的参考意义得出的。

然后整体思路可以说是和你讨论了。事实上，这就是我的团队现在正在做的事情。

我们认为预期的功能安全评价体系包括三个层次。第一个层次是系统层次。我们不关心内部结构是什么，它的算法是不是不确定的，而是把它当成一个黑盒。我们来看看。体现在我们现有测试场景的输入上，包括功能场景、逻辑场景、具体场景，另外一个就是建立一个我们预期的功能安全的产品库，在这些场景的基础上输入。我们对整体性能做一个评价，就是系统级评价和系统级评价相结合。现在我们认为它必须包括三个层次，即暴露度、严重性和可控性。那么暴露高度必须结合产品分类进行评估。在估计小偷之前肯定不是离散的，不是1234那么简单，而是通过我们，可以实时做出这样的风险评估。

这里我们有个名字叫潜在安全作战指数，就是我们的潜在碰撞风险系数，潜在安全，价格，指数。我们可以实时判断它的风险，所以它是非常特殊的可控性。我们根据对碰撞及其可能冲突的概率的评估来定义我们的可控性。所以在系统级评测的层面，我们可以发现现在的存储是和esc结合在一起的，但是S和C都不同于传统的功能安全，已经通用化了。

然后第一层是系统层，第二层是建设层。这个组件就是把内部系统开成一朵百合，包括感知模块、预测模块、决策模块和执行模块。

那么其中一个……该模块中感知模块的输出，也就是我们认为的面向结构的输出，包括风险率特征率和定位误差等。当然我们在这个模块中涵盖了定位，所以可以说是根据它的结构取向来评价它的性能，包括你的采样率和弱碱性区域的定位精度等等。

此外，同样的决策预测模块、决策模块、执行模块等。，都是基于他们预测的结果，是结果导向的。

那么第三层要深入算法本身，研究它的不确定性，更适合我们公司的产品开发和高效的理论研究。比如在感知模块中，数据是确定性的，算法是不确定性的，这就包括了我们相对认知和偶然的不确定性。然后，通过这些不确定性，我们可以得到一个组件级感知的评价指标。

所以这也是一个例子。这是对第三个层面的评价，在决策层面和预测层面其实是一样的。预测层面是我们可以研究预测模型的不确定性。预测模型预测你是准确的，它形成的轨迹是预测出来的。它具有不确定性。

此外，还有一个决策模块。目前我们团队正在研究决策模型的科技属性。我们希望通过可解释的研究提出决策模块的评价指标，以及实现模块，所以这张图阐述了我们对预期功能安全的量化评价体系的总体思路，包括系统级评价、esc组件级评价和组件级评价，包括面向结构。也就是说，根据它的输出结果，另一部分是深入算法本身，研究它的内在不确定性，提出一个评价指标，这个指标是三个层次。

那么我刚才在这里说的系统级的评测指标，就是基于我们的场景使用频率的统计。所以太古写的是潜在的碰撞风险系数，潜在的金融领域市场。另外，可以说value是引入我们可控碰撞概率的预算。然后，通过我们整个EMC计算，得到系统级的预期功能安全评估体系。

然后第三块是感知层的预期功能安全评价体系，所以这里面有两块，一个是结果导向，就是根据我的数字的结果，用什么样的评价指标来评价我们的感知结果，包括我们的感知准确率、漏检率、误检率等。这里也证明了前两天某激光雷达厂商在与经过专门培训的李继明女博士交流时，也利用了他们算法性能的下降。

也就是说，我们对某个模块的评价，不一定是一个非常复杂的算法，而是一个更实用、更能被接受的方法去评价它。

另外就是内因导向的评价方法。内因是评估我们算法的不确定性，这里是我们如何评估采用我们的Carroll态数的不确定性。

那么预测层的预期功能安全评价体系实际上是基于预测的不确定性，实际上是MC Weekly的不确定性分析的一种评价方法，一种基于贝叶斯推理的模型，然后得出我们预测模块整个不确定性分析的一个评价指标。当然评价指标可能更适合高校的理论研究，所以不排除我们行业应用这个评价体系做预期安全。

所以决策层其实主要是研究决策的可解释性和不确定性的一些评价指标。这里我们希望得到决策层的可解释性及其不确定性的一些评价指标。这部分研究内容还在进行中，具体结果可能要到明年才能和大家讨论，所以这里是一个评价体系的初步设想，供大家参考，也欢迎大家提出更多有价值的意见。

注:本文根据现场速记整理，未经主讲人审核。仅供参考。请勿转载！2020年12月3日，由中国汽车工程研究院主办的第五届i-VISTA智能网联汽车国际研讨会隆重举行。在中国智能网联汽车产业创新联盟CAICV-SOTIF工作组会议上，清华大学车辆与交通学院副研究员、智能出行研究所副所长王鸿发表了“预期功能安全量化评价指标的初步研究”主题演讲

清华大学车辆与交通学院副研究员、智能出行研究所副所长王鸿。

以下为演讲实录:

非常感谢陈老师对预期功能安全性的量化评价指标做了这么详细的报告，研究非常深入。那么我的报告会从更宏观的层面给大家介绍一个预期功能安全性的量化评价指标的初步设想，让大家对该领域有一个充分的了解，然后再看是否实用。所以这个目录看起来内容很多，其实内容并不是特别多，一共23页。第一个是预期功能安全的问题及其关键难点，所以这里是预期功能安全定义的一个过期号。预期功能安全的主要关注点是功能不足、性能有限或可合理预见的人员互操作性造成的危害。

为什么要加这些内容？因为我发现今天在场的专家并不是都对预期有详细的了解，所以我特意把这部分拿出来和大家一起回顾一下。

那么这里的道路环境包括随机场景变化、非常规交通参与和交通环境干扰。

此外，自动驾驶系统的局限性还包括系统的功能局限性，AR算法的局限性，司机和乘客的合理雇佣，包括事件的偏差，驾驶的疲劳，人员的雇佣。那么这里有一个刚才陈老师提到的典型案例。大家都喜欢拿出来说，开发这款车，把玉溪木板前的白色货车车厢鉴定为一种白云，导致了这样的事故。这是预期功能安全的典型案例。

那么根据asare 21448我们可以看到，预期功能安全最难的部分其实是产品部分Arnold C的安全区域。

此外，在研究过程中，我们将预期功能安全分为感知层、决策层和控制层三个层次，对预期工作安全进行研究、感知和控制，这也是我们后面提出的预期功能安全评价体系的参考。那么目前预期工作安全的问题包括感知不足，主要来自感知层面，包括漏检和误检，以及测量的不准确，主要是场景的随机变换和人工智能算法的不确定性造成的。

然后第三就是验证不全面，测试里程长。那么下面就是预期功能安全量化评价体系的总体思路，这是我和大家讨论的重点。给大家讲一个我们这样总结出来的心路历程。因为很多问题是在公共安全发展之后才发现的，有了预期的功能和智能算法的应用，并不能涵盖所有关于预自动驾驶的安全问题，所以出现了预期的功能安全问题，也就是q21448的出现。

但是，在现有的数据中，正如我在前面的介绍中所说的，预期工作安全的评价体系来自于硬件系统的功能安全评价体系，比如今天上午恐怖stpasmea认可的预期功能安全分析评价方法。

在我预期的功能安全研究开始时，也就是去年7月，当我刚刚开始研究时，我还和张雨晴谈过。我当时特别反对功能安全的SS评价方法，因为我觉得是功能安全失效导致的这样一种分析方法，而且其中涉及的EMC比较分散，感觉不适合我们预期的功能安全评价。然而，当我进一步了解之后，我发现我们不能相提并论……摒弃功能安全评价的思路，但要在此基础上谈，更适合预期功能安全的一种评价思路。

那么，在了解预期功能安全的量化评价体系的过程中，我们会发现，由于它伴随着人工智能算法的不确定性，我们也借鉴计算机部门的做法，考察了他们对人工智能算法不确定性的评价，因为不确定性是我们目前预期功能安全的问题。

那么我们必须在这里进行跨学科、跨领域的交流，以克服我们预期的功能安全。因此，从感知、决策乃至预测的角度，我们对预期功能安全不确定性的评价方法进行了更深入的研究。

比如在环境传递算法和不确定性评估中，我们主要找了牛津大学一个非常年轻的教授，叫延安盖奥。他们提出了一个类似于b Bs推广的语义切分方法，在里面使用MC job out，就是用这个方法或者公司训练的两个典型方法，提出了预测器和互信息。这个思路比较符合我们之前的商的概念，所以我没有跟踪的是1011团队的所有研究。他们先研究了人工智能算法的不确定性，然后才有机会把这些不确定性的方法放到我们的车辆领域。

这也回答了刚才重庆大学王珂老师的一个问题，就是如何评价预期工作安全中涉及的算法不确定性。我觉得这是很有参考价值的参考资料，可以参考和学习。

另外，在决策算法的不确定性分析中，我们发现MIT和cmd做了大量的工作，即决策算法的前端是预测算法，所以我们通过预测算法来预测周围环境、人和车辆的轨迹。如果他的预测不够准确，会直接影响我们决策的安全性。

所以这里主要是前面的研究，主要是针对预测算法，如何把他们对周围车辆和闲散人员预测的不确定性引入到我们的决策模块中，让我们的决策有预测性，这样一种具有不确定性敏感性的决策方法，然后他们提出，如果我对周围环境预测的不确定性很高，应该采取一些降级或者应急处理的方法。所以在这里我觉得对于预期功能安全的研究也是有意义的，所以这样一个预期功能安全量化评估体系的总体思路是基于参考函数的内容和计算机领域所有可能的参考意义得出的。

然后整体思路可以说是和你讨论了。事实上，这就是我的团队现在正在做的事情。

我们认为预期的功能安全评价体系包括三个层次。第一个层次是系统层次。我们不关心内部结构是什么，它的算法是不是不确定的，而是把它当成一个黑盒。我们来看看。体现在我们现有测试场景的输入上，包括功能场景、逻辑场景、具体场景，另外一个就是建立一个我们预期的功能安全的产品库，在这些场景的基础上输入。我们对整体性能做一个评价，就是系统级评价和系统级评价相结合。现在我们认为它必须包括三个层次，即暴露度、严重性和可控性。那么暴露高度必须结合产品分类进行评估。在估计小偷之前肯定不是离散的，不是1234那么简单，而是通过我们，可以实时做出这样的风险评估。

这里我们有个名字叫潜在安全作战指数，就是我们的潜在碰撞风险系数，潜在安全，价格，指数。我们可以实时判断它的风险，所以它是非常特殊的可控性。我们根据对碰撞及其可能冲突的概率的评估来定义我们的可控性。所以在系统级评测的层面，我们可以发现现在的存储是和esc结合在一起的，但是S和C都不同于传统的功能安全，已经通用化了。

然后第一层是系统层，第二层是建设层。这个组件就是把内部系统开成一朵百合，包括感知模块、预测模块、决策模块和执行模块。

那么其中一个……该模块中感知模块的输出，也就是我们认为的面向结构的输出，包括风险率特征率和定位误差等。当然我们在这个模块中涵盖了定位，所以可以说是根据它的结构取向来评价它的性能，包括你的采样率和弱碱性区域的定位精度等等。

此外，同样的决策预测模块、决策模块、执行模块等。，都是基于他们预测的结果，是结果导向的。

那么第三层要深入算法本身，研究它的不确定性，更适合我们公司的产品开发和高效的理论研究。比如在感知模块中，数据是确定性的，算法是不确定性的，这就包括了我们相对认知和偶然的不确定性。然后，通过这些不确定性，我们可以得到一个组件级感知的评价指标。

所以这也是一个例子。这是对第三个层面的评价，在决策层面和预测层面其实是一样的。预测层面是我们可以研究预测模型的不确定性。预测模型预测你是准确的，它形成的轨迹是预测出来的。它具有不确定性。

此外，还有一个决策模块。目前我们团队正在研究决策模型的科技属性。我们希望通过可解释的研究提出决策模块的评价指标，以及实现模块，所以这张图阐述了我们对预期功能安全的量化评价体系的总体思路，包括系统级评价、esc组件级评价和组件级评价，包括面向结构。也就是说，根据它的输出结果，另一部分是深入算法本身，研究它的内在不确定性，提出一个评价指标，这个指标是三个层次。

那么我刚才在这里说的系统级的评测指标，就是基于我们的场景使用频率的统计。所以太古写的是潜在的碰撞风险系数，潜在的金融领域市场。另外，可以说value是引入我们可控碰撞概率的预算。然后，通过我们整个EMC计算，得到系统级的预期功能安全评估体系。

然后第三块是感知层的预期功能安全评价体系，所以这里面有两块，一个是结果导向，就是根据我的数字的结果，用什么样的评价指标来评价我们的感知结果，包括我们的感知准确率、漏检率、误检率等。这里也证明了前两天某激光雷达厂商在与经过专门培训的李继明女博士交流时，也利用了他们算法性能的下降。

也就是说，我们对某个模块的评价，不一定是一个非常复杂的算法，而是一个更实用、更能被接受的方法去评价它。

另外就是内因导向的评价方法。内因是评估我们算法的不确定性，这里是我们如何评估采用我们的Carroll态数的不确定性。

那么预测层的预期功能安全评价体系实际上是基于预测的不确定性，实际上是MC Weekly的不确定性分析的一种评价方法，一种基于贝叶斯推理的模型，然后得出我们预测模块整个不确定性分析的一个评价指标。当然评价指标可能更适合高校的理论研究，所以不排除我们行业应用这个评价体系做预期安全。

所以决策层其实主要是研究决策的可解释性和不确定性的一些评价指标。这里我们希望得到决策层的可解释性及其不确定性的一些评价指标。这部分研究内容还在进行中，具体结果可能要到明年才能和大家讨论，所以这里是一个评价体系的初步设想，供大家参考，也欢迎大家提出更多有价值的意见。

注:本文根据现场速记整理，未经主讲人审核。仅供参考。请勿转载！

标签：发现

汽车资讯热门资讯