傳統的汽車安全，如ISO 26262等標準的功能安全定義，根據風險的嚴重性、暴露率和可控性提供汽車安全完整性等級(ASIL)。這項標準還定義了V開發模型，要求完全指定組件特性及其相應的規范和可追蹤性，按照其規范所做的修改也應可檢測。利用數據庫訓練機器學習模型，累積的訓練會違背初始時組件特性均已指定的假設。此外，自動駕駛系統利用機器學習時，將軟件組件的層級架構實施成端到端的解決方案，這違背了ISO 26262標準的模塊化方案 (Salay & Czarnecki, 2018)。 

自動駕駛系統的安全性不僅要注重傳統的功能安全性，還要考慮行為安全性。作為駕駛策略的一部分，自動駕駛系統需要學習與非自動車輛和行人交互。它們需要學習預測其他參與方的行為，還需要預測危險和安全關鍵的情況，即便是邊緣情況也不例外。自動駕駛系統需要防范周圍動態環境可能帶來的風險，即使是在硬件或軟件無故障的情況下。

汽車安全專家正在開發ISO/PAS 21448標準，即預期功能安全(SOTIF)，用于涵蓋ISO 26262未涉及的場景。對于某些場景來說，為開發ISO/PAS 21448 SOTIF所進行的大量工作并未有效覆蓋邊緣情況以及不安全的未知條件。對于自動駕駛市場的其他場景來說，這項標準可能會限制或扼殺創新，特別是它關系到自動駕駛領域機器學習的使用。

實現自動駕駛的安全

為了實現安全無憂的自動駕駛，系統需要具備以下特性：

• 可靠：超低故障率（汽車級品質）

• 安全：強大的故障檢測能力(ISO 26262 ASIL D)

• 可用：正確操作準備就緒（能夠區分安全相關和非安全相關的故障）

• 容錯：即便在發生故障時，也可以繼續操作（降低性能/功能，僅可繼續操作重要功能）

• 可信賴：故障預測功能能夠提前檢測故障（離線測試）

圖5  安全概念的演變，行業方法

SAE自動駕駛分類較低級別中的大部分輔助功能都是“故障防護”系統，這意味著一旦發生故障，系統將會進入安全模式。在L0、L1自動駕駛功能的情況下，系統依靠駕駛員對車輛繼續進行安全操作。在當前的L2和L3系統中，我們期望系統能夠具備更高級的可用性，能夠識別故障并以降低性能的模式繼續運行，僅在部分情況下依賴駕駛員。預計L4和L5系統將可以在發生故障后繼續運行，這意味著當系統檢測到故障后，系統內置足夠的冗余來容錯，以便繼續全面運行足夠長的時間，直到系統將車輛恢復到安全狀態。

當出現故障時，切換到人類駕駛員是L0至L3系統的一個關鍵部分。要實現從自動駕駛系統到人類駕駛員的切換，需要進行大量研究工作。Eriksson和Stanton的研究發現，在非緊急情況下，完成切換所需時間從2至26秒不等，如果駕駛員收到切換請求時正在進行其他任務，所需的時間會更長。請記住，車輛在高速公路上自動駕駛時，高速行駛下的速度超過每秒25米。在最快的反應時間下，車輛需要行駛半個足球場的路程才能完成切換，在最慢的反應時間下，車輛則需要行駛將近6個足球場的路程才能完成切換。在緊急情況下，駕駛員的反應會比較慢，并且人類駕駛員可能會做出錯誤的決策，造成交通事故 (Eriksson & Stanton, 2017)。基于這種情況，恩智浦認為實現安全無憂出行需要L2甚至更高級的自動駕駛系統，才能使其在發生故障后繼續運行，至少能夠安全停車。

圖6  安全概念的演變，恩智浦方法

當爭論被表述為安全的自動駕駛系統要始終遵守交通規則時，我們在現實世界中卻會觀察到與嚴格的規則相應、有時候甚至是相反的某些場景，存在社會規范可以使大多數復雜的系統進行更高效的運作。這些社會規范允許在某些情況下違反交通規則，比如在即將駛入車道時，繞過拋錨車輛或被攔下的車輛。有時，違反交通規則并不是故意為之，而是避免交通事故的必要措施。自動駕駛系統需要配有決策矩陣，從而選擇可接受的違反交通規則的方式，以實現更安全、高效的駕駛。

圖7  （有時）需要遵守的規則

自動駕駛汽車需要確保采取的任何措施都不會危及生命安全。這給安全工程師驗證車輛安全性帶來了很大的壓力，然而并沒有令人滿意的方法來驗證自動駕駛汽車永遠安全運行。 

自動駕駛系統架構分為兩個功能域：

1) 建模域，對環境進行監控和建模；

2) 規劃域，用于制定行為策略和規劃，并進行路徑選擇。

系統分為兩個功能域，每個功能域由多種設備組成，使其具有更優的可擴展性和異質性，每個功能域還可根據特定的應用要求提供高效的計算架構匹配。如果不了解系統的決策機制，那就無法保證其安全性。這就是大型端到端系統處理感知和規劃時所涉及的問題。配有接收傳感器輸入和提供驅動指令輸出的封閉式黑盒方法很難進行驗證和調試，而且也很難擴展到新的算法、傳感器解決方案和計算。

相對于端到端解決方案，建模和規劃分區架構更有利于實現系統的安全性。 

圖8  高水平分區自動駕駛系統