在包括自主系统在内的斯坦福人工智能安全研讨会上展示的最新趋势中，人工智能安全的重要性被智能照亮

人工智能安全至关重要。

你会很难看似不争辩。

正如我专栏的读者所熟知的，我一再强调人工智能安全的重要性，请参阅 这里的链接. 我通常在自主系统的背景下提出人工智能安全，例如包括自动驾驶汽车在内的自动驾驶汽车，以及其他机器人系统。 这样做突出了人工智能安全所带来的潜在生死攸关的后果。

鉴于全球范围内广泛且近乎疯狂地采用人工智能的步伐，如果适当的人工智能安全预防措施没有牢固建立并定期付诸实践，我们将面临一场潜在的噩梦。 从某种意义上说，社会是名副其实的坐鸭子，因为今天的 AI 洪流导致 AI 安全性不佳，包括有时完全忽略了足够的 AI 安全措施和设施。

可悲的是，对人工智能安全的关注并没有像它需要的那样重要和广泛。

在我的报道中，我强调了人工智能安全背后有许多方面。 有技术方面的。 有商业和商业方面。 有法律和道德因素。 等等。 所有这些品质都是相互关联的。 公司需要意识到投资人工智能安全的价值。 我们的法律和道德规范需要告知和颁布 AI 安全注意事项。 必须采用并进一步推进用于帮助和支持采用人工智能安全规则和实践的技术，以实现越来越强大的人工智能安全能力。

谈到人工智能安全，从来没有片刻可以休息。 我们需要继续前进。 确实，请充分意识到这不是一劳永逸的情况，而是一种持续不断的追求，几乎是永无止境的追求改进。

我想为您介绍一些 AI 安全前景，然后与您分享一些从最近一次涵盖 AI 安全最新情况的事件中收集到的主要发现和重要见解。 这是斯坦福人工智能安全中心上周举办的一次活动，于 12 年 2022 月 XNUMX 日在斯坦福大学校园举行了一场全天的人工智能安全研讨会。 感谢斯坦福人工智能安全中心执行主任 Anthony Corso 博士和那里的团队组织了一场精彩的活动。 有关斯坦福人工智能安全中心（也称为“SAFE”）的信息，请参阅 这里的链接.

首先，在深入了解研讨会结果之前，让我们粗略地概述一下风景。

为了说明人工智能安全如何日益成为一个重要问题，让我引用本周早些时候英国政府人工智能办公室发布的一份新政策文件，题为 建立促进人工智能监管的创新方法 其中包括有关 AI 安全的这些评论：“AI 的广泛用途可以包括对安全有重大影响的功能——虽然这种风险在某些领域更为明显，例如医疗保健或关键基础设施，但存在以前无法预见的潜在风险。在其他领域实现的安全影响。 因此，虽然安全将是一些监管机构的核心考虑因素，但对于所有监管机构而言，重要的是采取基于情境的方法来评估人工智能可能对其部门或领域的安全构成风险的可能性，并采取相称的管理这种风险的方法。”

引用的政策文件继续呼吁以新的方式思考人工智能安全，并强烈倡导人工智能安全的新方法。 这包括在整个人工智能设计生命周期以及人工智能设计、开发和部署工作的所有阶段，提高我们的技术实力，包括人工智能安全考虑和实施。 下周我将在我的专栏中介绍有关最新提议的 AI 监管草案的更多细节。 有关我之前和正在进行的关于人工智能法律监督和治理的类似草案的报道，例如美国算法责任法案 (AAA) 和欧盟人工智能法案 (AIA)，请参阅 这里的链接 和 这里的链接，例如。

在认真思考 AI 安全性时，一个基本的概念是测量的作用。

你看，有一句你可能在各种情况下都听过的著名的通用说法，即你无法管理你没有衡量的东西。 人工智能安全是需要衡量的。 它需要是可测量的。 如果没有任何合适的衡量标准，人工智能安全是否得到遵守的问题就变成了一个空洞的论点，即我们是否应该说无法证明的论点。

坐下来讨论下一点。

事实证明，如今很少有人在积极衡量他们的 AI 安全性，而且通常只是眨眨眼，当然，他们的 AI 系统正在体现 AI 安全组件。 正在使用脆弱的方法。 弱点和漏洞比比皆是。 人工智能安全方面的培训明显缺乏。 用于 AI 安全的工具通常稀少或晦涩难懂。 企业和政府的领导层往往不知道也低估了人工智能安全的重要性。

诚然，直到人工智能系统严重误入歧途，这种盲目性和冷漠的注意力才会发生，类似于地震来袭时，人们突然睁开眼睛，他们本应做好准备并准备好承受令人震惊的事件。 在那个关头，在人工智能出现严重问题的情况下，经常会疯狂地跳上人工智能安全的潮流，但随着时间的推移，这种动力和考虑会逐渐减弱，就像那些地震只是在另一场大地震中恢复活力一样令人震惊。

当我担任南加州大学 (USC) 的教授和南加州大学开创性人工智能实验室的执行主任时，我们经常利用地震类比，因为人们对加州地震的普遍性有充分的了解。 这个类比恰当地使一次又一次地采用人工智能安全成为一种更容易实现的不合适和脱节的完成工作的方式。 今天，我担任斯坦福研究员，此外还为 WEF、UN、IEEE、NIST 等国际和国家实体的 AI 标准和 AI 治理委员会服务。 在这些活动之外，我最近在一家大型风险投资 (VC) 公司担任高级管理人员，现在担任 AI 初创公司的导师和 AI 初创公司竞赛的评委。 我提到这些方面是为什么我对人工智能安全的重要性质和人工智能安全在人工智能和社会未来的作用充满热情的背景，以及对人工智能安全相关初创企业和相关企业的更多投资的必要性。研究努力。

总而言之，为了充分利用人工智能安全，公司和政府等其他实体需要接受人工智能安全，然后坚持到底。 稳住船。 并使船保持最佳状态。

让我们放松心情，考虑一下我在尝试传达当代人工智能安全状况时最喜欢的谈话要点。

我有自己的一套 AI 安全 采用水平 我喜欢不时使用。 这个想法是很容易地描述一个给定的人工智能系统，特别是一个自主系统，正在遵守或可能避开的人工智能安全的程度或程度。 这只是一种快速的方法，可以显着识别和标记在特定感兴趣的情况下对 AI 安全所做的严肃性和承诺。

我将简要介绍我的 AI 安全采用水平，然后我们将准备转而探索最近的研讨会及其相关见解。

我的规模从最高或最高的人工智能安全性开始，然后逐渐下降到最低或最差的人工智能安全性。 我发现对级别进行编号很方便，因此最高的被认为是第 1 名，而最低的被认为是最后或第 7 名。 您不要假设每个级别之间存在线性稳定距离，因此请记住，AI 安全的努力和程度通常取决于您所查看的比例尺的位置。

以下是我对人工智能安全采用水平的评价：

1) 可验证的强大 AI 安全性 （严格可证明的、形式化的、硬度的，今天这种情况很少见）

2) 稳健的 AI 安全性 （部分可证明的、半正式的、完全可证明的）

3) 特设人工智能安全 （不考虑可证明性，非正式方法，今天非常流行）

4) 唇语服务人工智能安全 （零散的，通常是空洞的，边缘的，总体上不关心的）

5) 虚假人工智能安全 （外表是为了欺骗，危险的伪装）

6) 完全忽略了人工智能安全 （完全被忽视，零注意力，高风险）

7) 不安全的人工智能安全 （角色颠倒，实际上是危险的人工智能安全，阴险）

研究人员通常专注于规模的最高部分。 他们正在寻求在数学和计算上提出设计和确保可证明的人工智能安全性的方法。 在人工智能的日常实践中，令人遗憾的是 特设人工智能安全 趋于常态。 希望随着时间的推移和来自上述所有维度（例如，技术、商业、法律、道德等）的激励，我们可以将针头更接近应该根植于 AI 系统的严谨和形式。

您可能会对下面的类别或级别感到有些吃惊 特设人工智能安全 水平。

是的，在人工智能安全方面，事情可能会变得非常丑陋。

一些人工智能系统是用一种口头上的方式来保证人工智能安全的。 人工智能中到处散布着人工智能安全元素，声称提供人工智能安全规定，尽管这些都是零星的，通常是空洞的，边缘的，反映了一种有点漠不关心的态度。 我不想给人留下这样的印象，即 AI 开发人员或 AI 工程师是负责口头服务着陆的唯一罪魁祸首。 管理和监督人工智能工作的企业或政府领导人可以轻易地夺取体现人工智能安全所需的潜在成本和资源消耗的任何精力或倾向。

简而言之，如果掌舵人不愿意或没有意识到 AI 安全的重要性，那么对于任何希望将 AI 安全纳入游戏的人来说，这就是名副其实的死亡之吻。

我不想看起来像一个沮丧的人，但在口头服务分类之下，我们的水平甚至更差。 在一些人工智能系统中，人工智能安全作为一种形式 谬误，故意欺骗他人相信人工智能安全实施例被植入并积极工作。 正如您所料，这很容易导致危险结果，因为其他人必然会假设 AI 安全存在，而实际上并不存在。 在这些情况下，巨大的法律和道德后果就像一颗定时炸弹。

也许几乎同样令人不安的是整个人工智能安全性的缺失， 完全忽略了人工智能安全 类别。 很难说哪个更糟，虚假的人工智能安全可能提供了一点人工智能安全，尽管它总体上错误地代表了人工智能安全或人工智能安全的绝对空虚。 你可能认为这是两害相权取其轻的斗争。

最后一个类别真的令人不寒而栗，假设您还没有处于 AI 安全寒冷深渊的底部。 在这个类别中 不安全 人工智能安全。 这似乎是一个矛盾的说法，但它有一个直截了当的意思。 完全可以想象，角色颠倒可能会发生，以至于人工智能系统中的一个旨在用于人工智能安全目的的实施例结果具有讽刺意味和危险地将一个完全不安全的元素嵌入到人工智能中。 这尤其会发生在被称为两用 AI 的 AI 系统中，请参阅我的报道 这里的链接.

记住永远遵守拉丁誓言 最根本的，其中特别灌输了经典的希波克拉底誓言，以确保首先不伤害。

有些人可能怀着最乐观的意图投入人工智能安全，但通过包含不安全和危险的东西（隐喻地，这会打击所有其他利益相关者和最终用户）来攻击他们并破坏人工智能也）。 当然，作恶者也可能走这条路，因此无论哪种方式，我们都需要有合适的手段来检测和验证任何人工智能的安全性或不安全倾向——包括那些声称致力于人工智能安全的部分。

正是人工智能安全的特洛伊木马，有时以人工智能安全为幌子，将人工智能安全纳入一个可怕的篮子，里面装满了不安全的人工智能。

不好。

好的，我相信上述关于人工智能安全领域的一些趋势和见解的概述已经激起了你的兴趣。 我们现在准备开始主餐。

关于斯坦福人工智能安全研讨会的回顾和思考

接下来，我将简要回顾一下斯坦福人工智能安全中心最近举办的人工智能安全研讨会上提出的各种研究工作的分析。

强烈敦促您阅读相关论文或观看视频（请参阅我之前为中心网站列出的链接，以及我在下面的回顾中提供了一些额外的链接）。

我还分别要求研讨会的研究人员和演讲者请注意，我在此回顾中只是想激起读者或观众的胃口，并没有涵盖所传达的全部内容。 此外，我正在表达我对所呈现的工作的特殊观点，并选择根据我现有的风格或专栏的华丽程度来增加或增加材料的味道，而不是严格抄录或详细说明每次谈话中明确指出的内容。 感谢您在这方面的理解。

我现在将按照研讨会期间进行的相同顺序进行演示。 我列出了会议标题和演讲者，然后分享了我自己的想法，这些想法都试图概括或概括所讨论问题的本质，并提供我自己的见解。

• 会议标题：“安全机器人自主性的运行时监控”

Marco Pavone 博士的演讲

Marco Pavone 博士是斯坦福大学航空航天学副教授、英伟达自动驾驶汽车研究主任、斯坦福自动驾驶系统实验室主任和斯坦福汽车研究中心联合主任

这是我对这次谈话的简要回顾和从前的想法。

当代机器学习 (ML) 和深度学习 (DL) 系统的一个巨大问题需要处理分布外 (OOD) 事件，尤其是在自动驾驶汽车和其他自动驾驶车辆等自主系统的情况下。 当自动驾驶汽车行驶并遇到 OOD 实例时，要采取的响应行动可能会决定生死攸关的结果。

我在我的专栏中广泛介绍了必须处理大量快速出现的物体的情况，这些物体可能会压倒或混淆人工智能驾驶系统，请参阅 这里的链接 和 这里的链接， 例如。 从某种意义上说，ML/DL 可能是狭义的推导，要么无法识别 OOD 情况，要么同样更糟糕地对待 OOD，就好像它是在训练 AI 的传统内部分布事件的范围内一样。 这是将某事视为误报或误报的经典困境，因此在需要采取行动时让 AI 不采取任何行动，或者在这种情况下采取错误的虔诚行动。

在这个关于安全机器人自主的富有洞察力的演示中，一个重点强调迫切需要确保人工智能驾驶系统进行适当和充分的运行时监控，以检测那些暴躁且经常威胁到分布外的实例。 你看，如果运行时监控没有 OOD 检测，那么一切都可能会崩溃，因为 ML/DL 的初始训练可能没有为 AI 应对 OOD 情况做好充分准备。 如果在 OOD 检测方面运行时监控薄弱或不充分，则 AI 可能会盲目驾驶或斗鸡眼，无法确定边界破坏者是否在其中。

关键的第一步涉及能够定义什么构成分发外的完全基本问题。 信不信由你，这并不像你想象的那么容易。

想象一下，一辆自动驾驶汽车遇到一个物体或事件，在计算上计算得出该物体或事件相对接近原始训练集，但并不完全一致。 这是遇到的异常情况还是只是在预期集合的远端出现？

这项研究描述了一种可用于 OOD 检测的模型，称为 Sketching Curvature for OOD Detection 或 SCOD。 总体思路是为 ML 的预训练配备健康剂量的认知不确定性。 本质上，我们要仔细考虑已正确标记为确实 OOD（称为 TPR，真阳性率）的分布外部分与错误标记为的分布内部分之间的权衡不是OOD的时候，其实就是OOD（简称FPR，False Positive Rate）。

正在进行的和未来的研究包括对 OOD 异常的严重性进行分类、可能与异常相关的因果解释、运行时监视器优化以应对 OOD 实例等，以及将 SCOD 应用于其他设置。

使用 这里这个链接 有关斯坦福自治系统实验室 (ASL) 的信息。

使用 这里这个链接 有关斯坦福汽车研究中心 (CARS) 的信息。

有关我之前讨论斯坦福汽车研究中心的一些报道，请参阅 这里的链接.

• 会议标题：“用神经环境表示重新构想机器人自治”

Mac Schwager 博士的演讲

Mac Schwager 博士是斯坦福大学航空航天学副教授和斯坦福多机器人系统实验室 (MSL) 主任

这是我对这次谈话的简要回顾和从前的想法。

有多种方法可以建立场景或图像的几何表示。 一些开发人员使用点云、体素网格、网格等。 在设计自主系统（例如自主车辆或其他自主机器人）时，您最好明智地做出选择，否则整个套件和 kaboodle 可能会受到限制。 您需要一种能够恰当地捕捉图像细微差别的表示，它快速、可靠、灵活并具有其他显着优势。

人工神经网络 (ANN) 的使用作为几何表示的一种手段已经获得了很大的关注。 一种利用 ANN 的特别有前途的方法被称为神经辐射场或 NeRF 方法。

让我们看一下 NeRF 由什么组成的一个方便的原始定义：“我们的方法优化了一个没有任何卷积层（通常称为多层感知器或 MLP）的深度全连接神经网络，通过从单个5D 坐标到单个体积密度和与视图相关的 RGB 颜色。 为了从特定视点渲染这个神经辐射场 (NeRF)，我们：1) 将相机光线穿过场景以生成一组采样的 3D 点，2) 使用这些点及其对应的 2D 观察方向作为神经网络的输入生成一组颜色和密度的输出，以及 3) 使用经典的体绘制技术将这些颜色和密度累积到 2D 图像中。 因为这个过程是自然可微的，我们可以使用梯度下降来优化这个模型，通过最小化每个观察到的图像和从我们的表示中渲染的相应视图之间的误差（如 2020 年 XNUMX 月题为 NeRF：将场景表示为用于视图合成的神经辐射场 作者：Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi 和 Ren Ng）。

在这个关于 NeRF 和促进机器人自主性进步的精彩演讲中，直接提出了两个问题：

• 我们可以使用 NeRF 密度作为机器人规划和模拟的几何表示吗？
• 我们可以使用 NeRF 照片渲染作为估计机器人和物体姿势的工具吗？

给出的答案是肯定的，根据最初的研究工作，NeRF 似乎确实可以用于那些提议的用途。

展示的示例包括导航用途（例如通过空中无人机的努力）、抓取计划用途（例如试图抓取咖啡杯的机器人手）以及可微分模拟用途（包括动态增强神经对象 (DANO) 公式）。 还列出了参与这项研究的各种团队成员，并感谢他们各自对这些持续努力的贡献。

使用 这里这个链接 有关斯坦福多机器人系统实验室 (MSL) 的信息。

• 会议标题：“迈向经过认证的针对现实世界分布变化的稳健性”

斯坦福大学计算机科学教授（研究）Clark Ba​​rrett 博士的演讲

这是我对这项研究的简要回顾和以前的想法。

在使用机器学习 (ML) 和深度学习 (DL) 时，一个重要的考虑因素是生成的 ML/DL 系统的全面稳健性。 人工智能开发人员可能会无意中对训练数据集做出假设，一旦人工智能投入实际使用，最终会受到破坏。

例如，在运行时可能会发生明显的分布变化，让 AI 措手不及。 一个简单的用例可能是一个图像分析 AI ML/DL 系统，尽管最初在清晰的图像上进行训练，但后来在运行时遇到模糊、光线不足和包含其他未包含的分布变化的图像时会感到困惑在初始数据集中。

对 ML/DL 进行适当的计算验证不可或缺的组成部分是设计规范，这些规范将适当地支持实际部署设置中的 ML/DL 行为。 拥有对于 ML/DL 实验目的来说可能很简单的规范远低于对 AI 的更苛刻和更苛刻的需求，这些需求将通过自动驾驶汽车和自动驾驶汽车部署在我们的道路上，沿着城市街道行驶并承担生命或任务- 死亡计算决策。

根据研究人员的陈述，这项工作的主要发现和贡献是：

• 引入一个新框架来验证 DNN（深度神经网络）对现实世界分布变化的影响
• 率先将捕获分布变化的深度生成模型（例如，天气条件的变化或感知任务中的照明）纳入验证规范
• 提出一种新的超越激活函数抽象细化策略
• 证明在 MNIST 和 CIFAR-10 上的一系列具有挑战性的现实世界分布变化方面，验证技术比现有技术要精确得多。

有关更多详细信息，请参阅题为的相关论文 针对真实世界的分布变化，迈向经过认证的稳健性，2022 年 XNUMX 月，合著者 Haoze Wu、Teruhiro Tagomori、Alexandar Robey、Fengjun Yang、Nikolai Matni、George Pappas、Hamed Hassani、Corina Pasareanu 和 Clark Ba​​rrett。

• 会议名称：“AI 指数 2022”

斯坦福大学以人为本的人工智能 (HAI) 研究所政策研究经理 Daniel Zhang 的演讲

这是我对这项研究的简要回顾和以前的想法。

每年，世界著名的斯坦福大学以人为本的人工智能研究所 (HAI) 都会准备并发布一份广为阅读且备受期待的关于人工智能全球状况的“年度报告”，即人工智能指数。 最新的人工智能指数是第五版，于今年早些时候公布，因此被称为人工智能指数 2022。

正如官方所说：“年度报告跟踪、整理、提炼和可视化与人工智能相关的数据，使决策者能够采取有意义的行动，以负责任和合乎道德的方式推进人工智能，同时考虑到人类。 2022 年人工智能指数报告衡量和评估了人工智能从研发到技术性能和道德、经济和教育、人工智能政策和治理等方面的快速发展速度。 最新版本包括来自广泛的学术、私人和非营利组织的数据，以及比以前任何版本更多的自我收集数据和原始分析”（根据 HAI 网站；请注意，AI 指数 2022 可作为可在以下位置下载的免费 PDF 这里的链接).

列出的主要内容包括：

• 人工智能领域民间投资猛增，投资集中度加剧
• 美国和中国主导了人工智能的跨国合作
• 语言模型比以往任何时候都更有能力，但也更有偏见
• 无处不在的人工智能伦理的兴起
• 人工智能变得更实惠、性能更高
• 数据，数据，数据
• 关于人工智能的全球立法比以往任何时候都多
• 机械臂变得越来越便宜

AI Index 230 中有大约 2022 页的信息和见解，涵盖了当今 AI 的状态及其可能的发展方向。 著名的新闻媒体和其他来源经常引用斯坦福大学 HAI 年度 AI 指数中包含的给定统计数据或其他值得注意的事实和数据。

• 会议标题：“与大型语言模型对齐的机会”

OpenAI 校准负责人 Jan Leike 博士的演讲

这是我对这次谈话的简要回顾和从前的想法。

GPT-3 等大型语言模型 (LLM) 已成为人工智能进步的重要指标，但它们也引发了争论，有时还引发了关于它们能走多远以及我们是否会误导或错误地认为它们能做到的激烈争论超出他们的实际能力。 请参阅我对此类问题的持续和广泛报道，特别是在 AI 伦理的背景下 这里的链接 和 这里的链接，仅举几例。

在这个有洞察力的谈话中，主要涉及三个要点：

• LLM 有明显的对齐问题
• 法学硕士可以协助人工监督
• 法学硕士可以加速对齐研究

作为一个显而易见的对齐问题的方便示例，考虑让 GPT-3 编写一个使用由鳄梨、洋葱和酸橙组成的成分的食谱的任务。 如果你把同样的任务交给一个人，你很可能会得到一个合理合理的答案，假设这个人头脑清醒并且愿意认真地承担这个任务。

根据这个关于 LLM 限制的演示文稿，通​​过使用 GPT-3 展示的回复范围因提问方式的微小变体而异。 在一个回复中，GPT-3 似乎通过表明有一个配方可用但它可能没有任何好处来回避这个问题。 GPT-3 的另一个回应提供了一些准喋喋不休的说法，例如“春菊菜的简易拌饭”。 通过 InstructGPT 的回复似乎几乎达到目标，提供了一系列说明，例如“在一个中等大小的碗中，混合鳄梨丁、红洋葱和酸橙汁”，然后继续推荐要执行的其他烹饪步骤。

这里的关键是对齐考虑。

LLM 如何与或未能与人类提出的询问要求保持一致？

如果人们正在认真寻求合理的答案，则 LLM 应尝试提供合理的答案。 意识到回答食谱问题的人也可能会喋喋不休，尽管至少我们可能希望这个人让我们知道他们并不真正知道答案，只是在争先恐后地做出回应。 我们自然可能期望或希望 LLM 也会这样做，即提醒我们答案是不确定的、混杂的或完全是空想的。

正如我在我的专栏中多次劝告的那样，法学硕士应该“知道它的局限性”（借用著名或臭名昭著的标语）。

试图推动 LLM 朝着更好的人类对齐方向前进并非易事。 AI 开发人员和 AI 研究人员正在竭尽全力在这个确凿无疑的难题上取得进展。 根据演讲，一个重要的认识是 LLM 可用于加速 AI 和人类对齐的愿望。 我们可以使用 LLM 作为这些努力的工具。 该研究概述了一种建议的方法，包括以下主要步骤：（1）从人类反馈中完善强化学习或强化学习，（2）人工智能辅助人类反馈，以及（3）自动化对齐研究。

• 会议标题：“人工智能安全面临的挑战：来自自动驾驶公司的视角”

由 Motional 自主安全和安全研究负责人 James “Jerry” Lopez 介绍

这是我对这次谈话的简要回顾和从前的想法。

正如我对自动驾驶汽车和自动驾驶汽车的报道的狂热追随者所熟知的那样，我大力倡导将人工智能安全规则和方法应用于人工智能驱动车辆的设计、开发和部署。 参见例如 这里的链接 和 这里的链接 我经久不衰的劝告和分析。

我们必须将人工智能安全放在最高优先级和最重要的位置。

本次演讲涵盖了有关 AI 安全的大量要点，尤其是在自动驾驶汽车领域（Motional 公司在业内享有盛誉，由现代汽车集团和 Aptiv 的合资企业组成，为此据说公司名称是“运动”和“情感”这两个词的混搭，将汽车运动和对人类尊重的评价交织在一起）。

该演示文稿指出了当今人工智能普遍存在的几个关键困难，尤其是自动驾驶汽车，例如：

• 人工智能很脆弱
• 人工智能是不透明的
• 人工智能可以通过一个难以处理的状态空间来混淆

另一个考虑因素是不确定性和概率条件的结合。 所声称的不确定性“四骑士”被描述为：（1）分类不确定性，（2）轨道不确定性，（3）存在不确定性，以及（4）多模态不确定性。

自动驾驶汽车面临的最艰巨的人工智能安全挑战之一是尝试设计 MRM（最小风险策略）。 人类驾驶员在行驶中的汽车方向盘后一直在处理这个问题。 你在那里，开车，突然之间，道路紧急情况或其他潜在的灾难开始出现。 你如何回应？ 我们希望人类保持冷静，认真思考手头的问题，并明智地选择如何处理汽车，避免迫在眉睫的车祸或尽量减少不良后果。

让人工智能做同样的事情很难。

人工智能驾驶系统必须首先检测到正在酝酿的危险情况。 这本身就是一个挑战。 一旦发现情况，就必须计算各种“解决”动作。 其中，需要对当前要实施的“最佳”选择进行计算确定。 所有这一切都充满了不确定性，以及潜在的未知数，这些未知数严重地笼罩着应该采取的行动。

在某些情况下，人工智能安全可能相对简单和平凡，而在自动驾驶汽车和自动驾驶汽车的情况下，确保人工智能安全与人工智能驾驶系统融为一体，无疑是生死攸关的至高无上的生命力。

• 会议标题：“政府使用人工智能的安全考虑和更广泛的影响”

法学博士/博士 Peter Henderson 的演讲斯坦福大学候选人

这是我对这次谈话的简要回顾和从前的想法。

我的专栏的读者很熟悉我一直在大声疾呼人工智能和法律是不可或缺的舞伴。 正如我反复提到的，人工智能和法律有一个双面硬币。 人工智能可以应用于法律，希望这样做能够造福社会。 同时，另一方面，该法律越来越多地适用于人工智能，例如拟议的欧盟人工智能法案 (AIA) 和美国算法责任法案 (AAA) 草案。 有关我对 AI 和法律的广泛报道，请参阅 这里的链接 和 这里的链接，例如。

在本次演讲中，进行了类似的双重关注，特别是在人工智能安全方面。

你看，我们应该明智地考虑如何将 AI 安全规则和能力纳入政府对 AI 应用程序的使用中。 允许政府不情愿地采用人工智能，然后相信或假设这将以安全和明智的方式完成并不是一个非常真诚的假设（见我的报道在 这里的链接）。 事实上，这可能是一个灾难性的假设。 与此同时，我们应该敦促立法者明智地制定有关人工智能的法律，以纳入并确保人工智能安全的某种合理表现，这是对设计和部署人工智能的人的严格法律要求。

演示文稿中探讨的两条假定的经验法则包括：

• 人类仅仅处于循环中是不够的，他们实际上必须能够断言他们的自由裁量权。 当他们不这样做时，您需要一个高效的后备系统。
• 透明度和公开性是打击腐败和确保安全的关键。 但是你必须想办法以高度关联的方式平衡隐私利益。

作为一个非常值得一再强调的结束语，该演讲指出，我们需要果断地接受技术和监管法律的思维方式，以使 AI 安全形成良好的状态。

• 会议标题：“斯坦福智能系统实验室的研究更新”

斯坦福大学航空航天学副教授、斯坦福智能系统实验室 (SISL) 主任 Mykel Kochenderfer 博士的演讲

这是我对这次谈话的简要回顾和从前的想法。

本次演讲重点介绍了斯坦福智能系统实验室 (SISL) 正在进行的一些最新研究，这是一个开创性且极具创新性的研究小组，处于探索用于设计稳健决策系统的先进算法和分析方法的最前沿。 我强烈建议您考虑参加他们的研讨会并阅读他们的研究论文，这是一种非常有价值的指导性和引人入胜的方式，可以让您了解智能系统的最新技术（我非常愿意这样做）。

使用 这里这个链接 有关 SISL 的官方信息。

SISL 感兴趣的特定领域包括用于空中交通管制 (ATC)、无人驾驶飞机和其他航空航天应用等领域的智能系统，其中必须在复杂和不确定的动态环境中做出决策，同时寻求保持足够的安全性和有效性效率。 简而言之，从高维概率问题表示中推导出最优决策策略的稳健计算方法是他们努力的核心。

在演示文稿的开头，描述了与安全关键型自治系统相关的三个关键理想属性：

• 精确建模 – 包括现实的预测、人类行为的建模、推广到新的任务和环境
• 自我评估 – 可解释的态势感知、风险感知设计
• 验证和验证 – 效率、准确性

在精确建模类别中，简要概述了这些研究工作（此处按工作标题列出）：

• LOPR：使用生成模型的潜在入住率预测
• 具有已知驾驶员行为的不确定性在线合并规划
• 具有人类内部状态推断和时空建模的自主导航
• 经验过滤器：将过去的经验转移到看不见的任务或环境中

在自我评估类别中，简要概述了这些研究工作（此处按工作标题列出）：

• 用于鲁棒轨迹预测的可解释自感知神经网络
• 解释驾驶场景中的对象重要性
• 感知系统的风险驱动设计

在验证和验证类别中，简要概述了这些研究工作（此处按工作标题列出）：

• 高效的自动驾驶汽车风险评估和验证
• 作为概率推理的基于模型的验证
• 验证逆模型神经网络

另外，简要看一下令人印象深刻的书的内容 决策算法 Mykel Kochenderfer、Tim Wheeler 和 Kyle Wray 进行了探索（有关这本书的更多信息和免费的电子 PDF 下载，请参阅 这里的链接).

正在进行或设想的未来研究项目包括可解释性或 XAI（可解释 AI）、分布外 (OOD) 分析、更多基于抽样和正式验证方法的混合、大规模规划、人工智能和社会，和其他项目，包括与其他大学和工业合作伙伴的合作。

• 会议标题：“从交互中学习辅助机器人”

斯坦福大学计算机科学和电气工程助理教授 Dorsa Sadigh 博士的演讲

这是我对这项研究的简要回顾和以前的想法。

让我们从一个方便的场景开始，了解在设计和使用 AI 时可能出现的困难。

考虑堆叠杯子的任务。 棘手的部分是您并没有完全自己堆叠杯子。 机器人将与您一起完成此任务。 你和机器人应该作为一个团队一起工作。

如果机器人背后的人工智能设计得不好，你可能会遇到各种各样的问题，否则这似乎是一项极其容易的任务。 您将一个杯子放在另一个杯子上，然后让机器人有机会将另一个杯子放在这两个杯子的顶部。 AI 选择一个可用的杯子并小心翼翼地尝试将它放在另外两个上面。 可悲的是，选择的杯子太重（糟糕的选择）并导致整个堆栈掉到地板上。

想象一下你的惊愕。

机器人不是很有帮助。

您可能想禁止机器人继续与您叠杯子。 但是，假设您最终确实需要使用机器人。 问题在于，人工智能是否能够弄清楚叠杯子的过程，部分是通过反复试验，但也可以作为一种在叠杯子时辨别你在做什么的方法。 人工智能可能会从执行任务的方式以及人类执行任务的方式中“学习”。 此外，人工智能可能会确定有一些可推广的方式来堆叠杯子，而这里的人类已经选择了一种特定的方式来堆叠杯子。 在这种情况下，人工智能可能会根据您的特定偏好和风格来调整其叠杯工作（难道我们都有自己的叠杯偏好吗）。

您可以说这是一项涉及辅助机器人的任务。

交互发生在人和辅助机器人之间。 这里的目标是设计人工智能，使其基本上可以从任务中学习，向人类学习，并学习如何以适当的辅助方式执行任务。 正如我们希望确保人类与机器人一起工作一样，我们不希望机器人以某种方式达到一个计算姿势，该姿势将简单地绕过人类并自行完成杯子堆叠。 他们必须合作。

正在进行的研究被称为 ILIAD 计划，并具有这样的总体使命：“我们的使命是为人机交互和人机交互开发理论基础。 我们的团队专注于：1) 形式化交互并为受博弈论、认知科学、优化和表示学习的工具和技术启发的交互系统开发新的学习和控制算法，以及 2) 开发实用的机器人算法，使机器人能够安全地并无缝协调、协作、竞争或影响人类（根据斯坦福 ILIAD 网站， 这里的链接).

作为从交互中学习的重点（还有其他重点领域）的一部分，正在研究的一些关键问题包括：

• 我们如何在交互式机器人等低数据机制环境中积极有效地收集数据？
• 我们如何利用不同的资源和模式——完美和不完美的演示、比较和排名查询、物理反馈、语言说明、视频——来学习有效的人体模型或机器人策略？
• 哪些归纳偏差和先验可以帮助有效地从人类/交互数据中学习？

结论

您现在已经进入了 AI 安全领域的一段旅程。

所有利益相关者，包括 AI 开发人员、商业和政府领导人、研究人员、伦理学家、立法者和其他人，都对 AI 安全的方向和接受度有着示范性的利害关系。 投入社会的人工智能越多，由于对人工智能安全的认识不足，以及在当代广泛使用的人工智能中设计人工智能安全的随意性和有时落后的方式，我们承担的风险就越大。

小说家塞缪尔·洛弗 (Samuel Lover) 于 1837 年出版的一本书中的一句谚语，即使在今天也永远成为不可磨灭的存在，现在可以作为恰当的最终评论。

那句名言是什么？

安全总比后悔好。

说得够多了，暂时。