이번 포스팅은 ISO/PAS 8800:2024, 13. Safety Analysis of AI Systems를 기반으로 작성하였습니다.
AI 시스템은 자율주행, 의료진단, 산업 자동화 등 다양한 영역에서 혁신을 이끌고 있지만, 안전성 확보는 여전히 중요한 과제로 남아 있습니다. 특히, AI 시스템의 오류는 단순한 기능적 결함을 넘어 안전 요구사항 위반으로 이어질 수 있으며, 이는 심각한 결과를 초래할 수 있습니다. 이러한 위험을 줄이기 위해 AI 시스템에 대한 철저한 안전 분석이 필수적입니다.
이번 포스팅에서는 ISO/PAS 8800에서 언급된 AI 시스템 안전 분석의 목적과 범위, 테스트 기반 분석 접근법, 그리고 효과적인 안전 분석 기술에 대해 알아 보겠습니다.
1. AI 시스템에 대한 안전 분석 범위
AI 시스템 안전 분석은 시스템 설계 및 개발 과정에서 잠재적인 오류를 체계적으로 식별하고 이를 해결하기 위한 방안을 마련하는 것을 목표로 합니다. 안전 분석의 범위는 AI 시스템에서 발생할 수 있는 모든 잠재적인 오류를 포괄하며, 여기에는 AI 모델 및 비AI 모델 구성요소가 포함됩니다.
1-1. AI 안전 분석의 목적
AI 시스템 안전 분석의 주요 목적은 다음과 같습니다:
- 안전 관련 오류 식별: AI 시스템의 오류를 체계적으로 식별하고, 이러한 오류가 안전 요구사항 위반으로 이어질 가능성을 평가합니다.
- 원인 분석: 오류의 근본 원인을 식별하여 예방 조치를 설계합니다.
- 예방 및 완화 조치 설계: 설계 변경, 데이터셋 개선, 프로세스 수정 등을 통해 문제를 사전에 해결합니다.
- 요구사항 검증 지원: AI 안전 요구사항의 적합성과 완전성을 검증합니다.
1-2. AI 안전 분석 범위
AI 시스템 안전 분석은 다음 두 가지 주요 범위를 포함합니다:
- AI 모델 기반 구성 요소: 학습 데이터, 모델 아키텍처, 하이퍼파라미터 등 모델 자체에 초점둡니다. 딥러닝, 머신러닝 모델 등이 포함되며, 데이터 학습을 통해 동작합니다.
- 비AI 기반 구성 요소: 모델 외부에서 발생하는 시스템 통합 문제와 상호작용합니다. 일반적인 프로그래밍 로직으로 구성된 부분으로, AI 모델과 상호작용하며 시스템의 일부를 형성합니다.
AI 모델 기반 구성 요소는 데이터 학습 과정, 모델 설계, 구현상의 결함 등이 오류의 원인이 될 수 있습니다. 반면, 비AI 모델 구성 요소는 AI 모델과의 상호작용에서 비롯된 오류가 문제의 근본 원인이 될 수 있습니다.
1-3. 안전 분석의 주요 초점
안전 분석은 AI 모델 자체뿐만 아니라 데이터 수집, 설계, 구현 단계에서 발생하는 오류를 포함하여 다음과 같은 핵심 영역을 다룹니다:
- 데이터 관련 문제: 데이터 품질, 편향, 부족한 데이터 등.
- 설계 및 구현 문제: 시스템 설계 결함, 하이퍼파라미터 최적화 실패 등.
- 요구사항 명세 문제: 불충분하거나 불명확한 안전 요구사항.
이 분석은 시스템 초기 개발 단계부터 시작하여 설계, 데이터 수집, 테스트, 통합 단계까지 이어집니다. 안전 분석은 ISO 26262 및 ISO 21448 표준과 보완적으로 수행되며, AI 시스템의 특수성을 반영합니다.
2. 테스트 결과에 기반한 AI 시스템 안전 분석
테스팅은 AI 시스템의 성능과 안전성을 평가하는 핵심 활동입니다. 테스팅 과정에서 발견된 오류를 기반으로 한 안전 분석은 문제가 시스템 안전 요구사항에 미치는 영향을 평가하고, 근본 원인을 파악하며, 적절한 완화 조치를 정의하는 데 중점을 둡니다.
2-1. 테스트 기반 분석의 필요성
테스트는 AI 시스템의 오류를 식별하고, 안전성 평가를 위한 중요한 데이터를 제공합니다. 테스트 결과를 바탕으로 한 안전 분석은 다음을 목표로 합니다:
- 위험 평가: 실패 테스트로 인해 발생하는 위험을 분석.
- 근본 원인 분석: 오류의 원인을 파악하고, 이를 세부적으로 평가.
- 위험 완화: 문제 해결을 위한 조치를 설계하고 실행.
2-2. 테스트 기반 안전 분석 단계
(1) 위험 평가
테스팅 결과를 분석하여 시스템이 안전 요구사항을 위반했는지 평가합니다. 만약 위반이 확인되면, 그에 따른 위험을 분석하여 시스템의 안전성을 측정합니다.
테스트 실패가 안전 요구사항 위반으로 이어지는지에 대한 평가는 다음을 통해 판단됩니다:
- 테스트 실패가 안전성에 미치는 영향.
- 다수의 비안전 요구사항 위반이 안전 요구사항 위반으로 확장될 가능성.
예를 들어, 자율주행 차량의 보행자 인식 모델이 특정 조건에서 보행자를 감지하지 못하는 경우, 이 문제가 안전 요구사항을 위반하는지를 판단해야 합니다.
(2) 근본 원인 분석
발견된 오류의 근본 원인을 파악하기 위해 세부적인 분석이 수행됩니다. 근본 원인은 다음과 같은 영역에서 발생할 수 있습니다:
- 데이터셋 문제: 부족하거나 편향된 데이터. 데이터셋에 포함되지 않은 특정 시나리오가 원인
- 모델 설계 문제: 하이퍼파라미터 최적화 실패, 아키텍처 결함.모델 구조나 하이퍼파리미터 선택의 실패
- 요구사항 문제: 요구사항 정의의 모호성 또는 불완전성. 요구사항이 잘못 정의되었거나 누락됨
예를 들어, 보행자 인식 모델이 특정 환경에서 실패하는 원인이 데이터셋의 다양성 부족에서 기인했다면, 더 포괄적인 데이터셋으로 교체하거나 보강이 필요합니다.
(3) 위험 완화
근본 원인이 파악되면, 이를 예방하거나 완화하기 위한 조치를 정의합니다. 완화 조치는 다음과 같습니다:
- 데이터셋 개선: 부족한 데이터 보충, 데이터 증강(Augmentation)., 데이터셋 확대, 새로운 데이터 수집
- 모델 변경: 하이퍼파라미터 조정, 모델 구조 변경.
- 요구사항 수정: 요구사항 추가, 삭제 또는 재설계. 새로운 요구사항 추가 또는 기존 요구사항 개선.
- 프로세스 변경: 데이터 수집 및 모델 개발 절차 수정
예를 들어, 자율주행 차량의 보행자 감지 모델이 특정 상황에서 실패하는 경우, 데이터셋 보강과 모델 수정으로 문제를 해결할 수 있습니다.
3. AI 시스템을 위한 안전 분석 기술
AI 시스템의 안전 분석은 기존의 분석 방법론을 활용하거나, 새로운 기술을 적용하여 이루어질 수 있습니다. AI 시스템의 특수성을 고려하여 적합한 방법을 선택해야 합니다.
3-1. 안전 분석 기술의 요구사항
AI 시스템의 안전 분석 기술은 다음 요건을 충족해야 합니다:
- 위험 식별: 잠재적 오류와 그 원인을 체계적으로 탐색할 수 있어야 합니다.
- 모델링 적합성: 시스템의 복잡성과 특성을 적절히 모델링해야 합니다.
- 사전 검증 가능성: 안전 요구사항 위반 가능성을 사전에 분석할 수 있어야 합니다.
- 비선형적 행동: AI 시스템은 동일한 입력에 대해 다르게 반응할 수 있으며, 작은 입력 변화에도 예측 불가능한 결과를 초래할 수 있습니다.
- 환경 변화: AI 시스템이 배치된 환경이 지속적으로 변화하며, 새로운 시나리오가 나타날 수 있습니다.
- 복잡한 상호작용: 시스템 내 구성 요소 간 상호작용이 복잡하여 위험 분석이 어려울 수 있습니다.
3-2. 기존 안전 분석 기술과 AI 특화 기술
(1) 대표적인 기존 안전 분석 기술
- FMEA(Failure Mode and Effects Analysis): 시스템의 잠재적인 실패 모드를 식별하고, 각 실패가 미치는 영향을 분석합니다.
- FTA(Fault Tree Analysis): 특정 실패를 초래할 수 있는 원인을 트리 구조로 분석합니다.
- HAZOP(Hazard and Operability Study): 시스템 설계 단계에서 잠재적인 위험 요소를 체계적으로 분석합니다.
(2) AI 특화 안전 분석 기술 (분석 대상에 따른 분류)
AI 시스템의 복잡성과 비선형성에 맞춘 특화 기술도 사용됩니다:
■ 데이터 중심 분석:
AI 모델의 학습 및 테스트에 사용되는 데이터셋의 품질과 다양성을 분석하여 문제를 사전에 방지합니다. 예를 들어 데이터 셋에서 발생할 수 있는 잠재적 고장 모드를 다음과 같이 정의 할 수 있습니다. (Bottom-up Approach)
- 불완전한 라벨링: 잘못된 또는 누락된 라벨.
- 데이터 불균형: 특정 클래스나 시나리오의 과도한 또는 부족한 샘플.
- 노이즈 데이터: 모델 성능을 저하시킬 수 있는 불필요한 데이터.
- 다양성 부족: 특정 환경(날씨, 시간대 등)의 데이터 미포함.
또한 Top-down Approach 관점에서 보면, 학습하지 않은 시나리오로 인한 출력 오류 즉, AI 모델의 특정 입력 조건에서의 의도와 다른 출력에 대한 원인들을 Top-down으로 상세화 하다보면, 데이터셋이 특정 환경을 적절히 반영하지 못한다거나 전처리 과정에서 중요 데이터가 손실된다거나 하는 하위 원인들을 연결하여 최종적으로 데이터셋의 품질 문제를 해결하기 위한 대책을 수립할 수도 있습니다.
■ AI 모델 기반 분석:
AI 모델의 동작과 설계를 정밀하게 분석하여 오류 가능성을 최소화하는 것으로 모델의 설계, 학습과정, 데이터와 관련된 문제를 분석합니다.
예를 들어 AI 모델에서 발생할 수 있는 잠재적 고장 모드를 다음과 같이 정의 할 수 있습니다. (Bottom-up Approach)
- 모델 과적합/미적합: 학습 데이터에 과도하게 의존하거나 일반화 능력이 부족.
- 출력 오류: 모델 출력이 예상과 다르거나 안전 기준을 위반.
- 동작 불안정성: 입력 데이터의 작은 변화로 출력 값이 과도하게 달라짐.
■ 시뮬레이션 기반 분석:
가상 환경에서 다양한 시나리오를 테스트하여 안전성을 검증합니다. 예를 들어 가상 환경에서 다양한 조건을 시뮬레이션하여 AI 시스템의 고장 모드를 분석할 수 있으며 다음과 같이 잠재적 고장 모드를 정의할 수 있습니다.
- 자율주행 차량이 비정상적인 도로 조건에서 오작동.
- 물류 로봇이 복잡한 환경에서 경로를 찾지 못함.
3-3. 안전 분석 기술 선택의 중요성
안전 분석 기술의 선택은 시스템 특성과 분석 범위에 따라 달라집니다. 특히, AI 시스템의 비선형적 특성과 복잡한 상호작용을 고려한 맞춤형 기술이 필요합니다.
(1) 기존 분석 기법의 한계
- 설명 가능성 부족: 딥러닝 모델은 내부 동작이 불투명하며, 기존 분석 기법으로 모델의 비선형적 동작을 설명하기 어려움.
- 상호 작용 미반영: 기존 기법은 독립적 요소를 분석하는 데 중점을 두며, 구성 요소 간의 복잡한 상호 작용을 반영하지 못함.
- 환경 변화 대응 부족: 기존 기법은 정적 환경을 가정하지만, AI 시스템은 동적이고 예측 불가능한 환경에서 동작함.
(2) 안전 분석 기술의 새로운 요구사항
- 비선형 동작 분석: 모델의 민감도와 비선형성을 정밀하게 평가할 수 있어야 함.
- 상호 작용 시뮬레이션: 구성 요소 간의 상호 작용을 가상 환경에서 시뮬레이션하여 분석.
- 동적 환경 테스트: 다양한 입력 조건과 환경 변화에 따른 시스템의 안전성을 평가.
안전 분석 기술 선택 사례
자율 주행 사례에서는 비선형성 대응을 위해 다양한 도로와 날씨 조건을 포함한 데이터셋을 활용해 모델의 비선형적 특성을 보완할 수 있으며, 라이다, 카메라 데이터를 통합하는 시뮬레이션 기반 분석으로 센서간 상호 작용 문제를 해결할 수 있습니다.
또한 의료 진단 AI 사례에서는 병리학 이미지의 미세한 차이가 모델 출력에 미치는 영향을 분석하는 비선형성 동작 분석과 다양한 환자국 데이터를 포함하여 모델의 일반화 성능을 향상시킬 수 있습니다.
마치며...
AI 시스템의 안전 분석은 단순히 기술적 과제를 넘어, AI가 우리 삶의 다양한 영역에 깊숙이 자리 잡는 데 있어 필수적인 과정입니다. AI 시스템은 고도로 복잡하고 비선형적인 특성을 지니고 있어, 기존의 분석 기법만으로는 안전성을 충분히 보장하기 어렵습니다. 이러한 한계를 극복하기 위해 데이터 중심 분석, 시뮬레이션 기반 접근, 그리고 맞춤형 설계 검증 기법과 같은 새로운 방법론이 필요하며, 이는 AI 시스템의 특성과 복잡한 상호 작용을 고려하여 설계되어야 합니다.
AI 시스템의 안전 분석은 단순히 사고를 예방하는 것을 넘어, 시스템의 신뢰성을 확보하고 사회적 신뢰를 구축하는 핵심적인 역할을 합니다. 철저한 안전 분석은 기술의 잠재력을 극대화하는 동시에 위험을 최소화하여 AI 기술이 인간과 공존할 수 있는 안전하고 윤리적인 환경을 조성합니다. AI가 발전함에 따라 안전 분석의 중요성은 더욱 커질 것이며, 이 과정은 AI의 책임감 있는 활용과 지속 가능한 발전을 위한 필수적인 기반이 될 것이라 생각합니다.