AI 기술 발전은 다양한 산업에서 혁신을 이끌고 있지만,
특히 안전이 중요한 분야에서는 기술 선택과 개발 과정에서 세심한 고려가 필요합니다.
이를 위해 ISO/PAS 8800에서는 AI 기술과 아키텍처를 선택하고 개발하는 과정에서
안전 요구사항을 충족하기 위한 주요 전략과 방법을 소개하고 있습니다.
이번 포스팅에서는 ISO/PAS 8800:2024에서 언급하고 있는 AI 기술,
그리고 아키텍처 및 개발 조치 선택에 대한 내용을 살펴보도록 하겠습니다.
이번 포스팅은 ISO/PAS 8800:2024, 10. Selection of AI Technologies, Architectural and Development Measures를 기반으로 작성하였습니다.
1. AI 기술을 선택하는 순간: "우리의 선택이 안전을 결정한다."
자동차 제조사에서 자율주행 기능이 탑재된 차량을 개발함에 있어 주요 목표 중 하나는 AI 기술을 활용해 자동차가 스스로 도로 상황을 판단하고 주행할 수 있도록 하는 것입니다. 그러나 자동차 제조사에서 활용할 수 있는 AI 기술은 매우 다양한데, 예를 들면 딥러닝(Deep Learning), 머신러닝(Machine Learning), 룰 기반 시스템(Rule-based System) 등을 활용할 수 있습니다. 그렇다면 이들 수많은 기술 옵션 중에서 어떤 기술을 선택하는 것이 좋을까요?
일단 자율주행을 위해서는 딥러닝 기술을 도입하는 것이 적합하다고 생각됩니다. 립러닝은 복잡한 데이터를 학습해 차량 주변의 보행자와 신호등을 정확히 인식할 수 있기 때문입니다. 하지만 딥러닝 기술은 해결해야 할 과제도 많이 있습니다. 예를 들어, 예상치 못한 데이터가 입력될 경우, 모델이 이상한 결정을 내릴 수 있다는 점입니다. 이 때문에 딥러닝의 한계를 보완하기 위해 오류를 감지하고 복구할 수 있는 중복 시스템과 감시 장치를 추가해야 할 수 있습니다. 이는 가장 혁신적인 기술이 항상 최선은 아니라는 점을 시사합니다. AI 시스템이 탑재된 시스템에서는 자동차 주행 중 발생할 수 있는 여러 상황에 대한 안전을 고려하여 기술이 선택되어야 하며, 만약 선택한 기술에 한계점이 존재한다면, 그 한계를 보안할 수 있는 추가적인 조치가 반드시 필요합니다.
2. "안전 요구사항"이라는 설계의 나침반
자율주행 자동차의 궁극적 목표는 자동차가 스스로 주변 상황을 얼마나 정확하게 판단하고, 신속하게 이동성을 확보하느냐입니다. 그러나 이에 못지않게 안전성 확보도 매우 중요한 목표입니다. 만약 자율주행 자동차가 사고를 야기하게 될 경우, 탑승자는 물론이고, 보행자를 비롯한 주변의 여러 사람들이 생명을 잃거나 심각한 수준의 상해를 입을 수도 있기 때문입니다. 이를 위해 ISO/PAS 8800에서는 AI 기술을 활용한 시스템은 어떤 상황에서도 안전하게 작동해야 한다는 안전 요구사항을 수립할 것을 요구하고 있습니다. (참조: ISO/PAS 8800, Clause 10, 10.3.2)
예를 들어
- 보행자를 인식하지 못하는 일이 없어야 한다.
- 신호등 색상을 정확히 인식해야 한다.
- 예상치 못한 상황(예: 갑작스러운 차량이나, 어린아이가 자동차 앞에 나타난 상황)에도 적절하게 안전성을 확보해야 한다.
이러한 안전 요구사항은 AI 시스템 전반에 걸쳐 적절한 요소에 배분되어야 하는데, 가령 보행자 인식은 딥러닝 모델에 할당되고, 긴급 상황에서 즉각적인 제동은 차량의 긴급 제어 시스템에 할당될 수 있습니다. 결국 안전 요구사항은 단순한 하나의 문서가 아니라, 설계와 개발의 모든 과정에서 안전 요구사항 할당의 적절성과 검증 등의 방향성을 제시하는 기준이 됩니다. (참조: ISO/PAS 8800, Clause 10, 10.4)
3. 설계와 개발 단계에서의 "안전 그물망"
자율주행 자동차의 안전성을 높이기 위해 AI 시스템에 취할 수 있는 안전 조치들의 예를 들어 보겠습니다.
- 거부 클래스 도입: AI 가 자신이 모르는 상황을 판단하지 못할 경우, "이건 내가 모르는 상황이야!"라고 인식하도록 합니다. 예를 들어, 눈이 내리는 날 보행자가 우산을 쓰고 있다면, AI가 현재 상황을 눈이 내리는 상황인지 비가 내리는 상황인지 인식하지 못할 가능성이 있습니다. 이 경우 AI 시스템은 "거부"로 처리해 추가적인 감시 시스템이 개입하도록 설계할 수 있습니다.
- 중복 시스템 도입: 차량의 주요 기능은 여러 시스템이 동시에 관찰하고 작동하도록 만들어집니다. 따라서 AI 시스템에서 오류가 발생하더라도, 다른 시스템이 이를 보완할 수 있도록 적절하게 중복성을 갖추고 안전 요구사항을 할당할 수 있습니다.
- 또한 이러한 조치들이 실제로 효과가 있는지 검증하기 위한 안전분석도 추가로 진행해야 합니다. 예를 들어 AI 시스템에 탑재된 딥러닝 모델이 내린 결정을 추적하고, 그 과정이 안전 요구사항에 부합하는지 철저히 평가해야 합니다.
AI 시스템을 위한 안전 설계는 하나의 기능이나 시스템 구성요소에서 모두 구현하는 것은 현실적으로 불가능할 수 있습니다. 따라서 설계단계에서의 아키텍처나 개발, 다양한 검증과 분석, 그리고 문제 발생 시 빠르게 개선할 수 있는 반복적인 설계 프로세스 등을 통해 촘촘하게 안전 요구사항을 달성할 수 있어야 합니다. 또한 이를 통해 AI 안전 요구사항을 충족할 수 있다는 근거를 확보하고 제공할 수 있어야 합니다. (참조: ISO/PAS 8800, Clause 10, 10.3.1, 10.3.3, 10.3.4, 10.3.5, 10.3.6)
4. 실행 환경과 개발 환경의 차이를 극복하다.
AI 시스템 기반의 자율주행 자동차를 개발할 때, 개발환경과 테스트 환경, 그리고 실제 도로에서 동작할 때의 모든 환경이 동일할 수 없습니다. 예를 들어 개발 환경에서는 맑은 날씨와 일정한 수의 교통량이 있는 데이터만 일반적이라 보고, 이들 데이터를 사용했지만, 실제 도로에서는 다양한 날씨와 변화하는 교통량과 같은 다양한 조건과 변화들이 존재합니다. 이러한 모든 상황들을 개발 과정에서 몇 번의 반복을 통해 모두 학습한다는 것은 쉽지 않습니다. 따라서 지속적으로 다양한 데이터들을 추가로 수집하여 AI 모델을 재학습하는 과정이 반드시 필요합니다. (참조: ISO/PAS 8800, Clause 10, 10.3.7, 10.3.8)
ISO/PAS 8800에서는 AI 모델이 포함된 AI 컴포넌트는 훈련 데이터셋을 사용하여 학습하고, 검증 데이터셋을 사용하여 평가되어야 한다고 되어 있습니다. (참조: ISO/PAS 8800, Clause 10, 10.3.8) 또한 학습 과정에서는 하이퍼파라미터 튜닝(학습률 조정 등)을 통해 AI 성능을 최적화하고, 필요하면 데이터를 추가로 정제해야 합니다. 다시 말해 AI 모델의 학습과 검증은 실행환경과 개발 환경을 차이를 극복하여 AI의 품질을 보장하는 중요한 과정이 됩니다.
5. 안전 속성과 조치의 균형
ISO/PAS 8800에서 예시로 든 AI 안전 속성은 여러 가지가 있습니다. (참조: ISO/PAS 8800, Clause 10, 10.5) (상세 예제는 ISO/PAS 8800:2024 참조)
- AI 견고성(Robustness): 데이터가 조금 변해도 시스템이 정확히 작동해야 합니다.
- AI 회복력(Resilience): 문제가 발생해도 시스템이 복구할 수 있어야 합니다.
- AI 제어 가능성(Controllability): 필요할 경우 인간이나 시스템이 개입해 안전을 유지할 수 있어야 합니다.
마치며...
AI 기술 선택과 아키텍처 설계는 AI 시스템의 안전성을 보장하는 데 핵심적인 역할을 합니다. 이를 위해 기술의 적합성을 면밀히 검토하고, 안전 요구사항을 충족하기 위한 다양한 설계 및 개발 조치를 적용해야 합니다. 나아가, 실행 환경과 개발 환경 간의 차이를 관리하고, 훈련 데이터와 검증 데이터를 활용해 모델 성능을 지속적으로 평가해야 합니다.
AI는 우리의 삶을 혁신적으로 변화시키고 있지만, 안전하지 않은 기술은 오히려 위험을 초래할 수 있습니다. 따라서 안전 중심의 접근 방식이야말로 AI 기술의 성공적이고 신뢰할 수 있는 적용을 위한 필수적인 요소라고 확신합니다.