ISO/PAS 8080:2024, Road Vehicles - Safety and Artificial Intelligence는
AI 기술이 통합된 차량 시스템에서 안전성을 보장하기 위한 문서로서,
자동차 산업에서 급증하는 AI 기술의 활용에 따른 새로운 안전 요구사항에 대응하기 위해 개발되었습니다.
이 문서는 ISO 26262 및 ISO 21448과 연계하여
AI 기반 시스템의 위험 요소를 체계적으로 다루고 있습니다.
이번 포스팅에서는 최근 PAS(Publicly Available Specification) - 워킹 그룹 차원의 합의된 문서로 출간된 ISO/PAS 8080에 정의된 AI 안전 관리 (AI Safety Management)에 대해 알아보겠습니다.
AI Safety Life Cycle: 지속 가능한 안전 보장을 위한 로드맵
AI 시스템이 점차 복잡해지고, 다양한 산업에서 사용되는 비중이 커지면서 AI 안전(AI Safety)은 필수적인 논의 주제로 자리 잡고 있습니다. 특히 자율주행차와 같은 안전에 민감한 애플리케이션에서는 AI 시스템이 올바르게 작동하지 않을 경우 심각한 결과를 초래할 수 있습니다. 이와 같은 상황에서 AI Safety Life Cycle(안전 생명주기)은 AI 시스템 개발부터 운영에 이르기까지, 체계적이고 반복적인 프로세스를 통해 안전성을 보장하는 중요한 틀이 됩니다.
AI Safety Life Cycle의 목적
AI Safety Life Cycle은 AI 시스템의 개발, 배포 및 운영 전반에서 발생할 수 있는 안전 관련 위험을 최소화하기 위한 일련의 단계적 활동을 말합니다. 이 생명주기의 주요 목적은 다음과 같습니다:
- 안전 요구사항 충족: AI 시스템 설계 및 운영에서 발생할 수 있는 오류를 사전에 예방하고, 이러한 오류가 심각한 결과를 초래하지 않도록 보장.
- 반복적 개발과 지속적 개선: 머신러닝(ML)을 포함한 AI 기술의 특성에 따라 데이터와 모델의 반복적인 개발 및 검증을 통해 안전성을 강화.
- 통합된 관리: AI 안전 활동이 기존의 시스템 안전 관리 표준(예: ISO 26262)과 긴밀히 조율되도록 보장.
이와 같은 목적을 달성하기 위해 AI Safety Life Cycle은 설계, 구현, 검증 및 운영을 아우르는 포괄적인 프레임워크를 제공합니다. (아래 그림 참조)
AI 시스템은 차량에 탑재되는 시스템(encompassing system)의 일부로 설계되며, AI 시스템의 역할과 안전성을 정의하기 위해서는 상위 시스템의 안전 개념(safety concept) 및 안전 요구사항(safety requirements)이 필수적입니다. 이는 기존의 ISO 26262:2018에서 정의된 기능 안전 산출물에서 제공되며, AI 시스템 개발 및 운영에서의 안전성을 확보하는 데 중요한 기준으로 작용합니다.
Encompassing System과 AI 시스템의 관계
Encompassing system은 AI 시스템이 통합되는 상위 시스템으로, 차량, 로봇, 의료 기기, 또는 산업 제어 시스템과 같은 복합적 기능을 수행하는 전체 시스템을 의미합니다. AI 시스템은 이 상위 시스템의 일부로, 특정한 기능(예: 자율주행 차량의 차선 감지, 충돌 회피 등)을 수행합니다.
Encompassing System의 역할:
- AI 시스템이 통합된 상태에서 전체 시스템이 요구하는 안전 목표를 달성하도록 설계.
- AI 시스템이 수행하는 기능이 상위 시스템의 다른 요소와 상호작용하도록 조정.
- 안전사고를 방지하기 위해, AI 시스템 외에 비상 제어 시스템 또는 백업 시스템 통합.
Safety Requirements Allocated to the AI System
Encompassing System의 안전 개념에서 정의된 안전 요구사항은 AI 시스템에 구체적으로 할당됩니다. 이는 AI 시스템이 수행해야 하는 기능적 및 비기능적 안전 속성을 명확히 정의합니다.
(1) 할당된 안전 요구사항의 특징
- 기능 안전 요구사항(Functional Safety Requirements): AI 시스템이 정상 작동 중 특정 기능을 안전하게 수행하도록 요구 (예: 자율주행 시스템이 보행자를 인식하고 적절히 멈추는 기능)
- 비기능 안전 요구사항(Non-Functional Safety Requirements): AI 시스템이 예외 상황에서도 안전성을 유지하도록 요구 (예: 입력 데이터의 노이즈나 불확실성에 대한 강건성)
- ASIL(Automotive Safety Integrity Level) 등급: ISO 26262를 기반으로, 안전 요구사항의 중요도와 허용 가능 위험 수준 정의 (예: ASIL-D 요구사항은 생명과 관련된 가장 높은 수준의 안전성을 필요로 함)
- ISO 21448(SOTIF) 적합성: 기능적 한계 또는 예상치 못한 상황에서 시스템의 안전성 보장
(2) Safety Requirements의 주요 요소
- 데이터 무결성: 입력 데이터의 품질과 신뢰성을 보장 (예: 센서 데이터의 왜곡이나 결함을 감지하고 보정)
- 모델 성능: AI 모델이 정밀도, 응답 속도, 일반화 성능 등 사전 정의된 기준을 충족 (예: 객체 탐지 모델의 정확도 99% 이상 요구)
- 환경 강건성: AI 시스템이 다양한 환경 조건에서도 안전하게 작동 (예: 눈, 비, 어두운 환경에서 차량의 자율주행 기능 테스트)
- 트리거 조건과 대응: 시스템이 비정상적인 입력 조건(트리거 조건)을 탐지하고 적절히 대응 (예: 모델이 데이터 분포 변화(domain shift)를 감지하면 시스템 안전 모드로 전환)
- 오류 허용 한계: 시스템 오류 발생률과 허용 가능한 최대 한계 정의 (예: 시간당 오류 발생률 0.001% 미만 유지)
Encompassing System과 AI Safety의 통합
AI 시스템의 안전 요구사항은 Encompassing System의 다른 구성 요소와 조화를 이루며 통합됩니다. 이를 통해 상위 시스템이 전반적으로 안전 목표를 달성할 수 있도록 설계됩니다.
- 상호작용 설계: AI 시스템과 Encompassing System의 인터페이스 정의 (예: 센서 데이터가 AI 시스템으로 전달되는 경로와 데이터 무결성 보장)
- 백업 시스템 통합: AI 시스템의 오류가 발생할 경우, 수동 제어 또는 비상조치를 위한 백업 시스템 활성화 (예: 자율주행 시스템 실패 시, 인간 운전자가 차량을 제어하도록 설계)
- 시스템 수준 검증: AI 시스템과 Encompassing System 간 상호작용에서 안전성을 검증 (예: 차량 전체의 비상 정지 시스템이 AI의 신호를 수신해 적절히 작동하는지 확인)
AI System Design
AI System Design 단계는 AI 시스템의 구조와 구성 요소를 정의하고, 안전성을 보장할 수 있도록 설계하는 과정입니다. 이 단계는 안전 속성을 고려하여 AI 시스템의 기능적 요구사항과 비기능적 요구사항을 구현하는 데 초점을 맞춥니다.
AI Safety Life Cycle의 V&V 단계
V&V(Verification & Validation) 단계는 AI 시스템 설계가 안전 요구사항을 충족하는지 확인하고, 실제 운영 환경에서도 안전성을 보장할 수 있는지를 검증하는 과정입니다. V&V는 설계 단계에서 도출된 요구사항이 제대로 구현되었는지를 평가하는 중요한 단계입니다.
(1) AI System Verification(검증)
Verification은 AI 시스템이 명세된 설계 요구사항을 제대로 구현했는지를 확인하는 활동입니다.
- 요구사항 기반 검증
• 안전 요구사항에 따라 시스템의 기능과 비기능 요구사항 충족 여부를 점검
• 정적 분석(코드 검토, 모델 평가)과 동적 분석(테스트 실행) 수행 - 테스트 데이터 관리
• 학습 데이터와 독립적인 검증 데이터셋을 사용하여 테스트 수행
• 다양한 시나리오와 입력 조건을 통해 시스템의 동작을 검증 - 모델 성능 검증
• 모델의 안전 속성(예: 정확도, 응답 시간)을 다양한 환경에서 테스트
• ISO 26262에서 제안된 오류 모델을 기반으로 안전성 검증
(2) AI System Validation(확인)
Validation은 AI 시스템이 실제 운영 환경에서 요구되는 안전성과 성능을 충족하는지를 확인하는 활동입니다.
- 운영 환경 시뮬레이션
• AI 시스템이 실제 환경에서 발생할 수 있는 모든 조건에서 안전하게 작동하는지 확인 (예: 자율주행차의 경우, 다양한 도로 조건과 날씨 상황에서의 시뮬레이션 수행) - 환경 변화에 대한 강건성 테스트
• 도메인 이동(domain shift) 또는 개념 드리프트(concept drift)와 같은 환경 변화에 대한 대응력 평가
• 모델의 일반화 성능 확인 - 안전성 및 성능 기준 충족 여부 확인
• 안전 요구사항에 명시된 성능 기준(예: 오류 발생률, 최대 응답 시간)을 충족하는지 검토
• 사용자 피드백을 포함한 실제 데이터 기반 검증 - 시스템 통합 테스트
• AI 시스템이 차량 또는 전체 시스템에 통합된 상태에서도 안전하게 작동하는지 확인
• 예: 센서 데이터의 정확성이 유지되며, AI 시스템이 제어 시스템과 원활히 상호작용하는지 평가
AI 시스템 개발의 반복적 패러다임
1. 개념 증명(Proof of Concept)
AI Safety Life Cycle의 첫 번째 단계는 AI 기술이 안전 요구사항을 충족할 수 있는 가능성을 평가하는 단계입니다. 이 단계에서는 초기 모델이 설계되고, 데이터 수집 전략이 수립되며, 모델 매개변수의 최적화를 위한 테스트가 이루어집니다.
- 안전 요구사항 정의
- 데이터 수집 및 초기 모델 설계
- 잠재적 기능 부족 식별 및 최소화 전략 수립
이 단계의 목표는 AI 기술의 잠재력을 검증하는 것입니다. 예를 들어, 자율주행차의 차선 감지 모델을 설계할 경우, 다양한 도로 환경에서 기본적인 차선 인식을 수행할 수 있는지를 검토합니다.
2. 양산 개발(Series Development)
이 단계에서는 AI 시스템이 모든 안전 요구사항을 충족할 수 있도록 반복적으로 개발됩니다. 머신러닝 모델의 오류를 분석하고, 설계 또는 데이터 선택을 통해 기능 부족을 줄이는 것이 주요 목표입니다.
- 데이터셋 독립성 보장(훈련 데이터와 테스트 데이터 분리)
- ISO 26262-9의 의존적 오류 분석(DFA)과 유사한 방법론 적용
- 설계 및 아키텍처 개선
이 과정은 높은 수준의 안전성을 요구하는 시스템에서 특히 중요합니다. 예를 들어, 충돌 방지 시스템은 다양한 도로 조건과 차량 속도에서의 성능을 반복적으로 검증해야 합니다.
3. 하드웨어 플랫폼 배포(Deployment)
AI 시스템이 목표 하드웨어와 소프트웨어 플랫폼으로 배포되는 단계입니다. 이 단계에서는 계산 결과의 정밀도, 시간 및 메모리 제한, 하드웨어 오류에 대한 강건성 등이 고려됩니다.
- 하드웨어 제약 조건 분석 및 최적화
- 계산 그래프 가지치기(Pruning) 및 효율성 확보
- 목표 플랫폼에서의 안전 요구사항 검증
자율주행차의 경우, 센서 데이터 처리와 실시간 의사결정이 배포된 환경에서 원활히 수행되는지를 확인해야 합니다.
4. 운영 후 개선(Post-Deployment Improvement)
AI 시스템이 배포된 후에도, 현장 운영에서 수집된 데이터를 바탕으로 지속적인 개선이 이루어집니다. 환경의 변화나 새로운 요구사항에 대응하기 위해 시스템은 반복적으로 업데이트됩니다.
- 새로운 트리거 조건(예: 개념 드리프트) 분석 및 대응
- “Shadow Mode” 운영을 통한 데이터 수집 및 성능 평가
- 안전성과 성능의 점진적 개선 보장
예를 들어, 날씨 조건 변화로 인해 자율주행차의 차선 인식 성능이 저하될 경우, 새로운 데이터를 학습하여 이러한 문제를 해결합니다.
AI Safety Life Cycle의 특징
1. 반복적 개발 모델
AI Safety Life Cycle은 반복적 개발(iterative development)을 기반으로 합니다. 이는 머신러닝 시스템이 초기 설계부터 운영 후 개선까지, 지속적인 분석과 최적화를 통해 성능과 안전성을 점진적으로 강화할 수 있음을 의미합니다.
- 성능 지표(KPI) 기반 반복: 안전 속성에 대한 성능 지표를 기준으로 개발을 반복하여 목표를 충족하거나 한계점을 식별합니다.
- 데이터 중심 접근법: 데이터 수집, 준비 및 라벨링 과정이 안전 보장을 위한 핵심 활동으로 간주됩니다.
2. ISO 26262와의 통합
AI Safety Life Cycle은 기존 안전 표준인 ISO 26262와 통합되어야 합니다. 이를 통해 AI 시스템의 안전 활동이 기존 시스템의 안전 관리와 조화를 이루도록 보장합니다.
3. 기능 부족 분석
AI 시스템의 잠재적 기능 부족과 근본 원인을 분석하고, 설계 및 데이터 선택을 통해 이를 최소화합니다. 이를 통해 AI 시스템의 신뢰성을 높이고, 안전성을 강화합니다. (예, ML 기반 AI 기술의 경우, 데이터 선택(예, 훈련 데이터)을 포함한 설계 방식을 통해 기능 부족을 개선할 수 수 있습니다.)
AI 시대의 안전을 위한 준비
AI 기술은 우리의 삶을 혁신적으로 변화시키고 있으며, 앞으로 다가올 AI 시대에는 그 중요성이 더욱 커질 것입니다. 그러나 AI의 발전 속도가 빨라질수록, 이를 둘러싼 안전 문제는 더욱 복잡하고 중요한 도전 과제로 떠오를 것입니다. AI Safety Lifecycle은 이러한 도전에 대응하기 위해 필수적인 체계로, AI 시스템의 개발, 운영, 개선 과정 전반에서 안전성을 보장하기 위한 핵심 역할을 수행합니다.
특히, AI 안전성을 확보하기 위한 국제적 지침으로 2024년 12월에 출판된 ISO/PAS 8800은 중요한 첫걸음이라 할 수 있습니다. 이 문서는 AI 시스템의 안전 생명주기를 정의하고 실행하는 데 있어 중요한 기준을 제공합니다. 하지만 AI 기술의 복잡성과 빠른 발전 속도를 고려할 때, 이 문서는 앞으로도 지속적으로 보완되고 확장될 필요가 있습니다. 다양한 산업 분야의 요구사항과 급변하는 기술 환경을 반영하여, 이 지침이 더욱 정교하고 실질적인 안전 보장 도구로 자리 잡아야 합니다.
AI가 의료, 자율주행, 산업 자동화 등 생명과 직결된 분야에까지 적용되는 현재, 우리는 단 한순간도 안전을 포기할 수 없습니다. AI 시스템은 단순한 기술적 성과가 아닌, 사람들의 생명과 신뢰를 기반으로 설계되고 운영되어야 합니다. 이는 기술적 안전성과 사회적 책임을 모두 포함하는 문제입니다.
물론, 이러한 과정을 구축하고 유지하는 데는 많은 어려움이 따를 것입니다. AI 기술의 복잡성, 환경적 변수, 데이터 품질 문제 등은 AI Safety Lifecycle과 같은 체계를 더욱 까다롭고 정교하게 만들어야 할 것입니다. 하지만 우리는 이러한 어려움을 헤쳐 나가기 위해 준비해야 합니다. 이를 위해 다음과 같은 방향을 지속적으로 추구해야 합니다:
- 안전 중심의 설계 문화 정착: 개발 초기부터 안전성을 내재화하는 설계 철학.
- 표준화와 규제 강화: ISO/PAS 8800과 같은 지침을 발전시키고 이를 기반으로 글로벌 표준과 법적 규제를 마련.
- 교육과 협력: AI 안전성을 보장하기 위한 전문가 양성과 산업, 학계, 정부 간 협력 확대.
다가올 AI 시대는 많은 도전과 기회를 동시에 제공합니다. 우리가 AI Safety Lifecycle과 ISO/PAS 8800과 같은 국제 표준을 체계적으로 적용하고 발전시킨다면, 기술의 혜택을 안전하게 누릴 수 있는 미래를 열어갈 수 있을 것입니다. 기술의 발전을 넘어 인류의 안전을 최우선으로 여기는 자세로, AI 시대의 새로운 가능성을 책임감 있게 열어가야 할 때입니다. 안전은 선택이 아닌 필수입니다. AI 시대를 맞이하는 지금, 우리의 준비가 곧 미래의 신뢰와 안전을 결정할 것입니다.