AI의 편리함, 그리고 새롭게 등장한 위험들

지난 6월 2일 보안뉴스가 보도한 기사에 따르면, 보안 기업 퍼미소 시큐리티(Permiso Security)의 AI 보안 전문가들은 ChatGPT의 웹 검색 결과에 포함된 가짜 링크를 통해 사용자를 피싱 사이트로 유인하는 '챗지피시'(ChatGPhish) 기법이 발견됐다고 경고했다. 일반 사용자들은 AI가 제공한 결과 속 출처 링크를 그대로 신뢰하는 경향이 있는데, 이를 악용하여 공격자들은 외부 웹사이트에 악성 명령어를 삽입한 뒤 AI가 해당 페이지를 학습하는 과정에서 피싱 사이트나 사기 페이지로 유도하는 방식을 이용한 것으로 알려졌다. 실제로 이 기법을 활용해 일부 사용자의 금융 인증 정보와 계정 비밀번호가 탈취된 정황도 확인됐다고 한다.

현재 많은 직장인이 AI 도구를 업무에 활용하고 있지만, AI가 제공한 출처 링크를 의심 없이 신뢰한 채 클릭했다가 정보 유출이나 피싱 사기 피해를 입을 수 있는 새로운 위험이 발생한 것이다.

이렇게 AI 기술이 발전할수록 그 이면의 새로운 위험성, 부작용, 역기능 문제가 함께 일어날 수밖에 없으며 증가할 수밖에 없다. 따라서, 우리가 AI 기술과 도구를 업무에 안전하게 도입하고 활용하려면 사전에 이러한 AI에 관한 역기능, 부작용 문제를 제대로 인식하고 주의해야 한다.

이와 같이 AI를 올바르게 인식하고 신중하게 활용하기 위해 필요한 노력과 실천을 'AI 윤리'(AI Ethics)라고 한다. 인공지능 윤리란 우리 인간이 인공지능을 개발하고 활용할 때 준수해야 할 규범과 원칙을 의미한다. AI 윤리는 크게 두 가지로 나뉜다. 하나는 AI를 개발하고 만드는 과정에서 개발자와 기업이 지켜야 하는 'AI 개발 윤리'이고, 다른 하나는 AI를 사용하고 소비하는 과정에서 사용자와 소비자가 지켜야 하는 'AI 활용 윤리'다.

이번 칼럼에서는 두 가지 AI 윤리 중, 직장인이 AI를 업무에 도입하고 활용할 때 주의하고 준수해야 할 AI 활용 윤리에 대해 살펴보고자 한다.

AI도 편견을 갖는다?
AI 편향성

먼저 'AI 편향성' 문제다. AI 편향성이란 인공지능 시스템이 불공정하고 차별적인 결과를 일관되게 만들어 내는 현상을 말한다. 업무에 활용하기 위해 AI로 결과물을 얻었는데, 그 결과물이 공정하지 못하고 편향과 편견에 치우쳐 있다면 실제 사용하기 어려울 것이다. 그러나 AI는 인간과 사회의 편향과 고정관념을 그대로 학습하기 때문에, 가장 발전된 최신 AI 모델에서조차 'AI 편향성' 문제는 완전히 해결되지 않은 상태다.

예를 들어 의사가 등장하는 포스터를 디자인하기 위해 AI에게 '의사 이미지를 생성해줘'라고 요청하면, 결과물은 거의 남성 의사의 이미지로만 채워진다. 이러한 편향된 결과물을 그대로 소비자에게 노출하면 민원과 항의 등 문제 제기에 휘말릴 수 있다.

그렇다면 AI 편향성 문제에 관해 AI를 올바르게 활용하는 방법은 무엇일까? 첫째, AI의 결과물을 그대로 믿지 않고 한 번 더 확인하는 습관을 길러야 한다. AI가 생성한 이미지나 글, 영상에 특정 성별, 인종, 직업에 대한 편향이나 편견이 담겨 있지는 않은지 꼼꼼하고 비판적으로 살펴보는 것이 중요하다. 둘째, AI에게 보다 구체적이고 다양성을 고려한 요청을 해야 한다. 단순히 '의사 이미지를 만들어줘'가 아니라 '다양한 성별과 인종의 의사 이미지를 만들어줘'처럼 요청하면, 보다 균형 잡힌 결과물을 얻을 수 있다. 셋째, AI 편향성 자체를 인지하고 사용하는 것이 핵심이다. AI를 맹목적으로 수용하지 않고 편향 가능성을 항상 염두에 두는 비판적 사고야말로 현명한 AI 활용의 출발점이다.

AI 할루시네이션, 그럴듯한 거짓말에 속지 않으려면

다음으로, 업무에 AI를 활용할 때 가장 큰 문제로 부상한 '할루시네이션(Hallucination)' 현상을 살펴보자. 할루시네이션이란 우리말로 '환각'을 뜻하며, 인공지능이 마치 환상을 본 것처럼 전혀 사실이 아닌 허위 정보를 아주 그럴듯하게 지어내어 정답처럼 제시하는 현상이다.

할루시네이션이 발생하는 이유는 생성형 AI의 알고리즘에 있다. 생성형 AI는 사람처럼 질문의 의미를 진정으로 '이해'하고 답하는 것이 아니라, 방대한 데이터 속에서 '이 단어 뒤에는 저 단어가 오는 것이 확률적으로 가장 자연스럽다'는 규칙을 계산해 문장을 기계적으로 조립한다. 따라서 학습 데이터 자체에 오류가 있거나 자신이 모르는 내용을 질문받아도 '모른다'고 하지 않고, 어떻게든 답변하기 위해 그럴듯한 거짓말을 만들어 낸다. 업무에서 AI를 활용해 결과물을 얻었다면, 반드시 AI의 거짓말 여부를 확인하고 신중하게 사용해야 한다.

첫째, AI의 답변을 교차 검증해야 한다. AI 하나의 답만 믿어서는 안 되며, 검색 엔진이나 공신력 있는 기관의 자료를 통해 반드시 확인하는 과정을 거쳐야 한다. 특히 건강, 의료, 법률처럼 중요한 분야일수록 다른 출처를 통한 교차 검증이 필수다. 둘째, 질문을 구체적으로 해야 한다. AI에게 어떤 지시를 내리느냐에 따라 할루시네이션 발생 정도가 달라질 수 있다. 막연하게 "OOO한 보고서를 작성해줘"라고 묻기보다, 보고서 작성의 기반이 되는 자료와 내용 등 구체적인 정보를 함께 입력하면 오류 가능성을 줄일 수 있다. 셋째, AI가 제시한 출처를 반드시 확인해야 한다. AI에게 정보의 출처를 함께 요구하고 해당 출처를 직접 확인함으로써, AI가 제시한 결과물의 진위여부를 검증할 수 있다.

AI에 개인정보를 절대 입력하지 말아야 하는 이유

마지막으로, AI를 업무에 활용할 때 가장 주의해야 할 사항인 개인정보와 회사 기밀 정보 유출 문제를 살펴보자. 2025년 보안 전문기업 하모닉의 조사에 따르면, 일반 직원들이 챗GPT·클로드·제미나이 같은 AI 도구에 입력한 전체 데이터 중 8.5%가 민감한 정보를 포함하고 있었다고 밝혔다. 세부적으로는 고객 개인정보가 45.8%, 직원 급여·인사정보가 26.8%, 기업의 법률·재무 정보가 14.9%를 차지했다. 실제로 아마존과 삼성도 직원들이 AI 도구를 사용하는 과정에서 의도치 않게 사내 기밀이 노출되는 사고를 겪었다. 더욱 심각한 문제는, AI에 입력된 정보가 해당 AI의 학습 데이터로 활용될 수 있다는 점이다.

AI로 인한 원치 않는 정보 유출 피해를 막으려면 다음 네 가지를 반드시 기억해야 한다. 첫째, AI에 이름, 주민등록번호, 전화번호, 주소, 카드번호 등 개인식별정보는 절대 입력하지 말아야 한다. 둘째, 업무용 AI 계정과 개인용 AI 계정을 구분해서 사용해야 한다. 업무 상황에서 개인 AI 계정을 사용하거나, 개인적인 일에 회사 AI 계정을 사용하면 개인정보와 회사 기밀이 구분되지 않고 유출되는 상황이 발생할 수 있다. 셋째, 회사 기밀정보는 절대 AI에 입력해서는 안 된다. 미공개 재무 정보, 고객 계약서, 직원 인사 자료, 보안 시스템 설정 등은 외부에 노출되는 순간 경쟁사에 악용되거나 법적 책임으로 이어질 수 있다. 넷째, AI 서비스의 '설정'을 통해 '데이터 학습 옵션'을 끄고 사용해야 한다. 아울러 AI 서비스의 개인정보 처리 방침을 직접 확인해, 내가 입력한 데이터가 어떻게 저장되고 활용되는지 파악하는 것이 바람직하다. AI를 통해 개인정보와 회사 정보가 유출되지 않도록, AI에 입력하기 전에 잠깐 멈추고 생각하는 습관이 중요하다.

이제 ChatGPT 없는 세상으로 돌아가기는 어렵다. 누구나 업무를 수행할 때 AI 도구를 사용할 수밖에 없고, 잘 활용할수록 업무 효율도 높아진다. 바로 그렇기 때문에, 위에서 살펴본 '업무 활용 시 유의해야 할 AI 윤리 가이드라인'을 제대로 인식하고 실천하는 것이 그 어느 때보다 중요하다.

정리하자면, AI를 업무에 올바르고 안전하게 활용하기 위해서는 AI의 결과물을 과신하거나 곧바로 사용해서는 안 된다. 사용하기 전에 잠깐 멈추고, 전체 내용에 대한 편향성, 할루시네이션, 워터마크, 개인정보·회사 기밀 유출, 저작권 침해 등을 반드시 확인한 후 사용해야 안전하다. AI는 아직 불완전한 기술임을 인식하고, 올바른 목적과 방법으로 활용하는 것이 가장 중요함을 잊지 말아야 한다.