AI(Artificial Intelligence) 기술은 자동차 시스템에서 점점 더 중요한 역할을 맡고 있습니다. 자율주행(Autonomous Driving), 첨단 운전자 지원 시스템(Advanced Driver Assistance System) 등 다양한 분야에서 AI가 활용되면서, 이 AI 적용 기술의 안전성을 보장하기 위한 체계적이고 신뢰할 수 있는 표준의 필요성이 대두되었습니다.
이에 따라 2024년 12월 출간된 ISO/PAS 8800 (Road Vehicles - Safety and Artificial Intelligence)은 기존 ISO 26262와 ISO 21448의 원칙을 확장하고 AI 시스템의 특수성을 반영하여, 차량 시스템에서 AI 안전성을 확보하기 위한 새로운 기준을 제시합니다.
이번 포스팅에서는 ISO/PAS 8800에서 언급하고 있는 AI 시스템과 AI가 적용된 포괄적 자동차 제어 시스템 간의 상호작용, AI가 적용된 포괄적 자동차 제어 시스템에서의 오류 개념, 그리고 안전 보장에 대한 반복적인 검증과 확인 및 개선 활동에 대해 알아 보겠습니다.
1. ISO/PAS 8800과 기존 표준(ISO 26262 / ISO 21448)의 연계
1-1. ISO 26262와의 연계
ISO 26262는 차량 시스템의 기능 안전(Functional Safety)을 보장하기 위한 국제 표준으로, 시스템 결함이 안전에 미치는 영향을 최소화하는 것을 목표로 합니다.
- ISO 26262 적용 대상: 기존 하드웨어와 소프트웨어 중심의 시스템.
- ISO 26262 구조적 접근: 시스템 설계, 구현, 검증, 운영에 이르는 전 과정을 체계적으로 관리
그러나 ISO 26262는 기존 하드웨어 및 소프트웨어 중심의 시스템에는 효과적으로 적용될 수 있지만, 데이터 기반 학습 및 비결정론적 특성을 갖는 AI 기술에는 한계가 있습니다. 따라서 ISO 26262의 기존 원칙을 확장하여 AI 시스템의 특수성을 반영하여 AI 기술이 적용된 차량 시스템의 기능 안전을 확보하는 것을 목표로 합니다. 다음은 AI 기술이 탑재된 차량 시스템을 위한 ISO 26262의 기술적 한계점 입니다.
- 머신 러닝 (Machine Learning, ML) 모델의 성능 한계
- 데이터 품질 및 모델 트레이닝 과정의 불확실성
- 복잡한 알고리즘으로 인해 발생하는 예측 불가능한 동작
반면, ISO/PAS 8800은 ISO 26262의 기존 원칙을 확장하여, AI 모델이 포함된 시스템에서도 적용 가능하도록 맞춤화된 지침을 제공합니다. 따라서 ISO 26262와 ISO/PAS 8800을 함께 적용하여 AI 모델을 위한 데이터 품질, 학습 알고리즘, AI 모델 검증 절차 등 AI 특유의 요구사항을 충족 시킬 수 있습니다.
- ISO/PAS 8800 적용 대상: AI 기술이 탑재된 차량 시스템 (AI 모델, 데이터 처리 기술, 머신러닝 기반 알고리즘 등을 포함한 차량 시스템)
- 데이터 품질 관리: 트레이닝 데이터와 테스트 데이터의 품질을 체계적으로 관리
- AI 모델 검증: AI 모델의 학습 및 추론 과정에서 발생하는 오류를 평가하고 완화
- 반복적 피드백과 조정: AI 모델이 특정 조건에서 오탐율이 증가하는 경우, ISO/PAS의 지침에 따라 데이터를 추가 수집하고, 모델을 재학습하여 문제를 해결
- 예시: AI 기반 객체 탐지 시스템의 경우, 하드웨어 센서의 결함은 ISO 26262의 안전 메커니즘을 통해 관리되고, AI 모델의 오류는 ISO/PAS 8800을 통해 추가적으로 다뤄집니다.
1-2. ISO 21448과의 연계
ISO 21448은 차량 시스템의 의도된 기능 안전성(Safety of the Intended Functionality, SOTIF)을 다룹니다. 이는 시스템의 설계와 운영 중 발생할 수 있는 기능적 불충분성(Functional Insufficiencies), 자율주행을 위한 복잡한 센서들과 센싱 데이터 처리 알고리즘에서 발생할 수 있는 위험을 식별/평가하고 완화하는 데 중점을 둡니다.
- ISO 21448 적용 대상: SAE 자율주행 레벨 1~5, ADAS, 긴급 개입 시스템 등.
- ISO 21448의 주요 특징:
(1) 센서와 알고리즘이 환경을 정확히 인식하지 못하는 경우 (예, 카메라가 도로 표지판을 잘못 인식하여 잘못된 결정을 내리는 경우)
(2) 시스템이 설계되지 않은 상황에서 작동하여 안전 문제가 발생할 가능성 (예, 새로운 도로환경에서 AI 시스템의 예측 고장)
그러나 ISO 21448은 AI 기술 전반을 다루지 못하며, AI 모델의 비결정론적 특성에 대한 체계적인 접근이 필요하게 되었습니다. 따라서ISO/PAS 8800은 ISO 21448과의 연계를 통해, AI 모델의 기능적 불충분성을 보다 효과적으로 분석하고 해결할 수 있는 체계를 제공합니다.
- 의도된 기능과 AI 모델 간의 연계: ISO 21448(시스템 수준에서의 의도된 기능 안전성 보장) - ISO/PAS 8800(AI 모델의 데이터 품질, 학습 프로세스, 추론 오류를 관리)
- 기능적 불충분성과 데이터 관리: ISO 21448은 센서 및 알고리즘의 기능적 불충분성을 평가합니다. ISO/PAS 8800은 이 과정에서 데이터 편향, 데이터 분포 변화와 같은 AI 모델의 특수 문제를 해결하는 데 중점을 둡니다.
- 예시: ADAS 시스템의 경우 ISO 21448은 차량이 주행 차선 내에서 안정적으로 유지할 수 있는 요구사항을 담고 있으며, ISO/PASS 8800은 이를 구현하는 AI 기반 차선 감지 모델의 데이터 품질과 성능을 평가하는 지침을 담고 있습니다.
2. AI 시스템과 포괄적 시스템 간 상호작용
아래 그림에서 보는 바와 같이 AI 시스템은 포괄적 시스템의 일부로 구성되며, 이떄 포괄적 시스템은 차량의 전체적인 안전 아키텍처를 구성합니다. 또한 포괄적 시스템과 AI 시스템간의 긴밀한 상호작용이 수행되는데, ISO/PAS 8800은 이러한 상호작용을 체계적으로 관리하는 방법을 제시합니다.
2-1. 포괄적 시스템과 AI 시스템의 정의와 역할
포괄적 시스템의 역할
포괄적 시스템은 차량의 전체적인 설계와 안전성을 관리하며, 각 구성 요소(센서, 제어 시스템, AI 시스템 등) 간의 상호작용을 조정합니다.
(예시: 포괄적 시스템은 자율주행 차량에서 주행 경로 계획, 긴급 제동, 객체 감지 등 모든 하위 시스템의 조화를 책임집니다.)
AI 시스템의 역할
AI 시스템은 특정 작업(예: 객체 탐지, 환경 인식)을 수행하며, 포괄적 시스템 내에서 데이터를 처리하고 의사결정을 지원합니다.
- 특징: 데이터 기반 학습, 비결정론적 동작, 환경 적응 능력.
- 예시: 딥러닝 기반의 AI 모델이 카메라 데이터를 분석해 보행자를 감지.
2-2. 포괄적 시스템과 AI 시스템 간의 상호작용
AI 시스템과 포괄적 시스템 간의 상호작용은 데이터의 흐름, 요구사항의 조정, 성능 평가를 중심으로 이루어집니다.
요구사항의 분해와 할당
포괄적 시스템의 안전 요구사항은 AI 시스템과 다른 구성 요소로 분해 및 할당됩니다. 예를 들어 자율주행 차량의 긴급 제동 시스템의 요구사항은 다음과 같이 분해됩니다:
- AI 시스템: 보행자 감지 정확도 98% 이상.
- 제어 시스템: 감지 신호를 기반으로 1초 내 제동 실행.
반복적 피드백 사이클
AI 시스템 개발 중 또는 운영 과정에서 성능 한계나 데이터 부족 문제가 발견될 경우, 포괄적 시스템의 요구사항을 재조정하고 AI 시스템의 설계를 반복적으로 개선해야 합니다.
- AI 시스템 개선을 위한 트리거 요인:
1. AI 모델의 예측 실패.
2. 데이터셋의 대표성 부족.
3. 안전 요구사항을 충족하지 못하는 환경 조건.
데이터 흐름 관리
포괄적 시스템은 AI 시스템의 입력 데이터 품질과 출력 결과를 평가하고 관리합니다.
- 입력 데이터: 센서 데이터(카메라, 라이다)와 환경 정보.
- 출력 데이터: AI 시스템이 생성한 예측 결과(예: 객체 감지, 경고 신호).
2-3. AI 시스템과 포괄적 시스템 간의 안전 문제 해결
AI 시스템과 포괄적 시스템 간의 상호작용은 안전 문제를 해결하기 위한 핵심 메커니즘을 제공합니다.
요구사항 조정
AI 시스템이 요구사항을 충족하지 못할 경우, 포괄적 시스템 수준에서 조치를 취해야 합니다:
- ODD(Operational Design Domain) 제한: AI 시스템의 작동 환경을 특정 조건으로 제한. (예, 자율주행 차량이 고속도로와 같은 단순한 환경에서만 작동하도록 설정)
- 다양성 구현: 여러 센서 및 알고리즘 사용을 통해 데이터 신뢰성 강화. (예, 카메라와 라이다 센서를 병행 사용)
- 중복성 구현: 하드웨어와 소프트웨어 중복성을 통해 오류 감지 및 완화.
반복적 안전 생명주기
AI 시스템의 개발과 운영 과정에서 반복적 피드백과 조정을 통해 안전성을 강화합니다.
- 데이터 재수집 및 학습: 새로운 조건에 적응하기 위해 훈련 데이터셋을 업데이트.
- 성능 재평가: 운영 중 수집된 데이터를 기반으로 AI 모델의 정확도 및 신뢰성을 재검증.
3. AI 시스템의 오류 개념과 원인-결과 모델
ISO/PAS 8800은 AI 시스템의 오류를 체계적으로 분석하기 위해 ISO 26262 및 ISO 21448의 원인-결과 모델을 확장합니다.
3-1. ISO/PAS 8800에서의 오류 개념
AI 시스템에서 발생하는 오류는 차량 시스템의 안전성과 직접적으로 연관됩니다. ISO/PAS 8800은 AI 시스템의 오류를 다음과 같은 세 가지 주요 요소로 정의합니다:
(1) AI 트리거 조건(AI Triggering Conditions)
특정 입력이나 조건이 AI 시스템의 오류를 유발하는 상황으로 객체 탐지 모델에서 훈련 데이터에 포함되지 않은 새로운 객체를 감지하는 상황 또는 카메라 센서가 악천후 조건(안개, 비)에서 정확한 데이터를 제공하지 못하는 상황 등이 있을 수 있습니다.
이는 주로 데이터 부족 또는 모델 설계상의 오류에서 기인하게 되므로, AI 모델을 위한 데이터셋을 보강한다거나 모델을 재설계 해야 합니다.
(2) 기능적 불충분성(Functional Insufficiency)
AI 시스템이 설계된 기능을 수행하지 못하는 상태로 트레이닝 데이터가 부족하거나 알고리즘에 한계가 있는 경우 또는 그밖에 환경적 요인으로 인해 잘못된 객체를 분류한다거나, 경로 계획에 오류가 있는 경우로, 예를 들면 차량이 도로 표지판의 새로운 스타일을 인식하지 못해 잘못된 경로를 선택하는 경우가 있습니다.
이는 주로 AI 모델이 특정 환경 조건에 영향을 받는 경우가 많기 때문에, 다중 센서를 사용하거나 환경 조건별 모델을 최적화 할 수 있는 방안을 강구해야 합니다.
(3) AI 오류(AI Errors)
트리거 조건과 불충분성이 결합되어 시스템 수준에서 오류가 발생하는 상태로 차량 수준에서 안전 관련 행동에 고장이 발생하는 경우를 말합니다. 예를 들면 보행자를 차선 표지로 잘못 인식하여 긴급 제동을 실행하지 못하는 경우가 있을 수 있습니다.
이는 체계적 결함으로 볼 수 있는데, AI 모델의 설계 과정에서 발생하는 과적합으로 인한 학습 데이터 의존성에 따른 오류일 수 있기 때문에 모델에 대한 철저한 검증이 수행되어야 합니다.
3-2. 원인-결과 모델(Cause-and-Effect Model)
ISO/PAS 8800은 AI 시스템의 오류가 차량 수준의 안전 문제로 이어지는 과정을 체계적으로 분석하기 위해 원인-결과 모델을 사용합니다. 이 모델은 다음과 같이 원인-결과 체인 단계를 통해 오류를 추적합니다:
- 트리거 조건: 시스템에서 결함 또는 불충분성을 활성화하는 특정 상황. (예: 훈련되지 않은 데이터 분포에 해당하는 새로운 객체)
- 결함 또는 기능적 불충분성: 트리거 조건이 활성화되면서 시스템이 설계된 기능을 수행하지 못함. (예: 특정 환경 조건에서 AI 모델이 객체를 잘못 분류)
- AI 오류: 결함 또는 불충분성이 시스템 수준에서 오류를 유발. (예: 잘못된 분류 결과가 차량 제어 시스템으로 전달)
- 안전 관련 기능 고장: AI 오류가 포괄적 시스템을 통해 차량 수준에서 안전 문제로 이어짐. (예: 긴급 제동 실패로 인해 충돌 발생)
참고: AI 시스템 관련 차량 수준의 안전 관련 기능 고장
AI 시스템의 오류는 포괄적 시스템을 통해 전파되며, 차량 수준에서 안전 관련 행동 실패를 초래할 수 있습니다.
• 예시: 객체 탐지 모델의 오탐률 증가 → 제어 시스템의 잘못된 판단 → 긴급 제동 실패 → 사고.
4. ISO/PAS 8800을 통한 AI 시스템 안전 보장의 핵심 요소
4-1. ISO/PAS 8800의 주요 목적
ISO/PAS 8800은 AI 기술이 포함된 차량 시스템의 안전성을 보장하기 위해 설계되었습니다.
- 적용 대상: AI 모델, 머신러닝 알고리즘, 데이터 처리 시스템.
- 목표: AI 시스템이 안전 관련 오류를 최소화하고, 차량 수준의 안전 요구사항을 충족하도록 보장.
- 특징: 기존 ISO 26262 및 ISO 21448 표준을 보완하여, AI 기술의 특수성을 반영.
4-2. ISO/PAS 8800을 통한 AI 시스템 안전 보장의 핵심 요소
(1) 데이터 품질 관리
AI 시스템의 안전성은 데이터의 품질에 크게 의존합니다. ISO/PAS 8800은 데이터의 수집, 전처리, 학습, 테스트 전반에서 품질을 보장하는 체계를 제공합니다.
핵심 내용:
- 훈련 데이터셋과 테스트 데이터셋의 독립성 보장.
- 입력 공간의 대표성 확보(모든 조건을 포함하도록 데이터 범위 확장).
- 데이터 편향 제거 및 불균형 문제 해결.
예시: 자율주행 차량에서 다양한 날씨 조건(맑음, 비, 안개 등)에 대한 데이터를 수집하여 AI 모델의 신뢰성을 강화.
(2) AI 모델 검증 및 확인(V&V)
AI 시스템의 성능을 체계적으로 평가하고 검증하기 위해 ISO/PAS 8800은 V&V 프로세스를 제시합니다.
주요 단계:
- 다양한 운영 조건에서 모델의 성능 평가.
- 엣지 케이스(드문 상황)에 대한 테스트 강화.
- 정량적 안전 목표(예: 오류 발생 확률)와 정성적 논거를 기반으로 모델 안전성 입증.
예시: 도로에서 예외적인 상황(예: 보행자가 갑자기 나타나는 경우)에 대한 AI 모델의 대응 능력을 테스트.
(3) 반복적 피드백과 개선
AI 시스템은 운영 중 발생하는 데이터와 문제를 지속적으로 학습하고 개선해야 합니다. ISO/PAS 8800은 반복적 피드백 루프를 통해 AI 시스템의 안전성을 강화합니다.
주요 내용:
- 운영 중 수집된 데이터를 기반으로 AI 모델 업데이트.
- 새로운 환경 조건에 대한 모델 학습 및 성능 재검증.
- 안전 요구사항 충족 여부를 반복적으로 평가.
사례: 운영 중 특정 교통 환경에서 AI 모델의 성능이 저하되는 경우, 해당 데이터를 분석하여 모델을 재학습하고 문제를 해결.
(4) AI 오류 관리
ISO/PAS 8800은 AI 시스템의 오류를 체계적으로 분류하고, 이를 완화하기 위한 전략을 제시합니다.
오류 유형:
- 사양 불충분성(데이터 부족, 잘못된 라벨링).
- 성능 불충분성(환경 조건에서 모델 성능 저하).
- 체계적 결함(알고리즘 설계 또는 학습 과정의 문제).
- 랜덤 하드웨어 결함(센서 또는 하드웨어 오류).
오류 완화 방법
- 데이터셋 보강 및 다양성 확대.
- 다중 센서와 중복 알고리즘 사용.
- 엄격한 모델 설계 검증 및 테스트.
(5) 안전 생명주기의 통합
ISO/PAS 8800은 AI 시스템의 설계, 개발, 운영 전반에서 안전 생명주기를 통합적으로 관리합니다.
주요 특징:
- ISO 26262의 기능적 안전 원칙과 통합.
- ISO 21448의 기능적 불충분성 평가와 연계.
- 반복적 생명주기 실행을 통해 안전성을 지속적으로 강화.
ISO/PAS 8800을 통한 AI 시스템 안전의 새로운 패러다임
ISO/PAS 8800은 AI 시스템의 안전을 보장하기 위한 새로운 패러다임을 제시하며, 데이터 품질 관리, 모델 검증 및 반복적 피드백과 같은 핵심 요소를 통해 AI 기반 차량 시스템의 신뢰성을 체계적으로 지원합니다. AI 기술이 발전함에 따라 ISO/PAS 8800은 기존의 ISO 26262 및 ISO 21448과의 연계를 통해, AI 시스템 안전성을 보장하기 위한 포괄적이고 유연한 접근법을 제공합니다.
이 표준은 단순히 안전을 준수하기 위한 도구가 아니라, AI 시스템을 신뢰할 수 있는 기술로 발전시키는 데 필수적인 첫걸음입니다. AI 시스템 안전은 선택이 아닌 필수이며, ISO/PAS 8800은 이를 실현하기 위한 강력한 기반이 될 것입니다.