'디지털 오라클'의 환상: 안전 분야의 AI가 전문가가 아닌 계산기에 머무는 이유

HSE 및 산업 안전 분야는 엄청난 압박을 받고 있습니다. 이러한 압박은 규제 기관뿐만 아니라 이른바 '기술적 과대광고(하이프)'에서도 비롯됩니다. 디지털 전환에 관한 프레젠테이션에 깊은 인상을 받은 최고 경영진은 인공지능(AI)의 즉각적인 도입을 요구합니다. 여기서 위험한 환상이 생겨납니다. 알고리즘이 인적 요소를 즉시 제거하고 산업재해를 제로로 만들어 줄 '마법의 버튼'처럼 보이기 때문입니다.

그러나 화려한 데모 버전 이면에는 근본적인 개념의 혼동이 숨어 있습니다. 시장에서는 AI를 '지능(이해하는 주체)'으로 판매하지만, 기술적으로는 여전히 강력한 확률 계산기에 불과합니다. 실수의 대가가 사람의 생명인 프로세스에서 이러한 혼동은 심각한 결과를 초래할 수 있습니다. 수리 통계의 현실이 실제 생산 현장의 혼돈과 충돌할 때, 우리는 뼈아픈 실망에 직면할 위험이 있습니다.

제 의견을 강요하려는 것이 아니라, 2024년 초부터 AI를 적극적으로 도입하고 활용해 온 사람으로서의 경험을 공유하고자 합니다.

맥락의 문제: AI는 본질을 보지 못한다

숙련된 관리자와 신경망의 가장 큰 차이점은 맥락을 이해하는 능력입니다. 전문가는 목소리의 불안감, 작업팀의 피로도, 눈에 띄지 않는 이상 징후 등 '미세한 신호'를 읽어냅니다. 반면 인공지능은 다르게 작동합니다. AI는 수학적 모델의 틀 안에 갇혀 있습니다.

컴퓨터 비전 시스템은 '위반'이 무엇인지 이해하지 못합니다. 단지 픽셀의 집합을 보고 이를 샘플과 비교할 뿐입니다. 알고리즘에게는 안전모에 반사된 빛이나 안전모 미착용이나 모두 단순한 데이터일 뿐입니다. 여기서 '지표의 맹점'이라는 위험이 발생합니다. 통제를 알고리즘에 전적으로 맡기면, 회사는 완벽한 보고서와 긍정적인 녹색 그래프를 얻겠지만 실제 안전 문화는 퇴보할 것입니다. AI는 디지털화되지 않은 실제 위협은 무시한 채 숫자만 최적화할 것입니다.

효율성의 역설과 숨겨진 비용

생성형 모델 및 분석 시스템을 도입한 경험을 통해 명확한 재무적 의미를 지닌 70/30 법칙을 도출할 수 있습니다. 문서 초안 작성이나 1차 영상 분석 등 초기 70%의 작업은 AI가 즉각적으로 처리합니다. 이는 감탄을 자아내며 비용 절감이라는 환상을 만들어냅니다.

하지만 결과를 완벽하게 다듬고 정확성을 검증하는 나머지 30%의 작업에는 막대한 리소스가 필요합니다. 공급업체들이 침묵하는 도입의 숨겨진 비용이 바로 이것입니다. 초기 단계의 비용 절감은 시스템 수정, 검증 및 유지보수에 드는 막대한 비용으로 돌아옵니다. 경영진은 이를 이해해야 합니다. 예전에 지침서를 작성하는 데 1시간을 썼던 직원이 이제는 AI의 오류를 수정하는 데 똑같이 1시간을 소비합니다. 이는 인건비 절감이 아니라 업무 성격의 변화입니다. 전문가는 창의적인 작업 대신 기계를 끝없이 통제하는 일에 매달리게 됩니다.

새로운 위험과 실수의 대가

AI 도입은 기술적 측면뿐만 아니라 엄청난 재무적 차원의 위협을 가져옵니다. 사고로 이어지는 신경망의 오류는 단순한 코드 결함이 아닙니다. 이는 소송, 벌금, 생산 중단 및 주가 하락을 의미합니다.

첫째, 시스템의 '환각(할루시네이션)' 현상입니다. 생성형 모델은 존재하지 않는 국가 표준을 참조하며 그럴듯하게 사실을 지어낼 수 있습니다. 이러한 규정을 적용하는 것은 법적으로 무효하며, 비즈니스에 치명적인 결과를 초래할 수 있습니다.

둘째, 오류의 대물림입니다. 알고리즘은 데이터의 거울입니다. 기업이 수년간 사소한 사고들을 숨겨왔다면, AI는 이를 정상으로 간주하도록 학습하여 실제 대형 사고를 놓치게 될 것입니다.

셋째, 데이터 유출입니다. 내부 문서를 클라우드 기반 챗봇에 업로드하면 데이터가 공개될 수 있습니다. 2025년 5월 이후 유출과 관련된 600건 이상의 형사 사건이 기밀성의 취약성을 증명하고 있습니다.

어떻게 해야 할까? 책임 있는 도입의 원칙

진단은 명확하지만, 실무자들은 어떻게 행동해야 할까요? AI 도입이 재앙이 되지 않으려면 4가지 '디지털 위생' 원칙을 따라야 합니다.

'루프 속의 사람(Human-in-the-Loop)' 원칙. 중요 구역에서는 완전한 자율성을 허용해서는 안 됩니다. 벌금 부과나 작업 허가 등 AI의 모든 결정은 전문가의 검증을 거쳐야 합니다. 자동화는 사람을 돕는 것이지 사람을 배제하는 것이 아닙니다. AI가 가설을 제시하면, 전문가가 결정을 내립니다.

'팀의 기술적 성숙도 향상' 원칙. 사람들이 기술을 두려워하거나 그 목적을 이해하지 못하거나 위협으로 인식하는 환경에서는 AI가 성공할 수 없습니다. 팀은 기본적인 디지털 리터러시, AI 작동 원리에 대한 이해, 모델의 결론을 해석하는 능력, 시스템과의 상호작용에 대한 책임감 등 '업그레이드' 과정을 거쳐야 합니다. 성숙한 팀은 오류를 방지하는 보험이자, AI가 또 다른 혼란의 원인이 아닌 유용한 도구가 되게 하는 핵심입니다.

'단계적 도입' 원칙. 사람의 생명이 달려 있는 시스템부터 시작하지 마십시오. 보조적인 작업부터 시작해야 합니다. AI가 사고 기록 보관소에서 숨겨진 패턴을 찾거나, 표준 보고서의 초안을 작성하거나, 구급상자의 구성품을 확인하게 하십시오. 실수의 대가가 건강이 아닌 시간인 영역에서 기술을 연마하십시오.

'데이터 감사' 원칙. 알고리즘에 데이터를 '먹이기' 전에 엄격한 검토를 수행하십시오. 기업 내에 문제를 은폐하는 문화가 있었습니까? 그렇다면 '오염된' 데이터는 아무리 완벽한 모델이라도 망쳐놓을 것입니다. 편향성으로부터 데이터를 정제하는 것은 시스템 가동 전의 필수 단계입니다.

미래 전략: 대체에서 강화로

전문가들의 가장 큰 두려움인 기술 퇴보와 일자리 상실은 잘못된 전제에 기반하고 있습니다. 우리는 패러다임을 AI(인공지능)에서 IA(지능 강화)로 전환해야 합니다.

AI는 HSE 전문가를 대체해서는 안 됩니다. AI는 엄청난 양의 데이터 원석을 처리하여 사람이 의사 결정을 내릴 수 있도록 순수한 핵심만을 남겨주는 두뇌의 '외골격', 즉 슈퍼 어시스턴트가 되어야 합니다. 기술의 퇴보 대신 기술의 혁신이 우리를 기다리고 있습니다. 알고리즘의 세계와 실제 생산 현장을 연결하는 다리 역할을 할 전문가라는 새로운 역할이 등장하고 있습니다. 이들은 '디지털'이 현장의 물리적 현실을 적절하게 설명하도록 보장하는 책임을 맡게 될 것입니다.

결론

HSE 분야의 인공지능은 '마법의 알약'이 아니라, 최고 수준의 운영 문화가 요구되는 복잡하고 비싸며 잠재적으로 위험한 도구입니다. 사람에 대한 투자, 즉 전문가의 역량과 시스템에 올바른 질문을 던질 수 있는 능력에 대한 병행 투자 없이는 AI 투자는 무의미합니다.

안전의 미래는 가장 과대광고된 알고리즘을 구매하는 사람이 아니라, 인간과 기계의 공생을 구축할 수 있는 사람의 몫입니다. 계산기의 차가운 논리가 전문가의 따뜻한 이성을 대체하지 않고 보조하는 곳 말입니다. 그리고 이제 산업 안전 문화를 구축하는 문제에 AI 활용 문화라는 새롭고 불가피한 과제가 추가되었습니다. 단순히 시스템을 도입하는 것을 넘어, 프로세스, 교육, 책임감, 팀의 일상적인 습관 등 기업의 살아있는 맥락 속에 시스템을 통합해야 합니다.

전문적인 문화와 디지털 성숙도를 결합하는 방법을 배우는 조직만이 서류상이 아닌 진정한 의미에서 위험을 관리하게 될 것입니다. AI를 도입하기 전에 가장 중요한 질문을 스스로에게 던져 보십시오. 완전히 이해하지 못하는 결정에 대해 책임을 질 준비가 되어 있으며, 그 이해를 위해 무엇을 해야 합니까?