ChatGPT를 비롯해 Claude, Google Gemini, Microsoft Copilot 등 다양한 생성형 AI 도구들이 일상과 업무에 널리 사용되고 있다. 하지만 이들은 모두 공통적으로 입력한 정보를 서버로 전송·분석하는 구조를 갖고 있으며, 사용자 입력은 단순한 대화가 아닌 잠재적 데이터 자산으로 취급될 수 있다. 이 글은 ChatGPT 사례를 중심으로 설명하지만, 생성형 AI를 사용하는 모든 사용자에게 동일하게 적용될 수 있는 민감정보 보안 원칙을 다룬다.
민감정보란 무엇인가?
많은 사람들은 ‘개인정보’라는 말을 들으면 이름이나 전화번호 정도를 떠올린다. 그러나 법적·보안적 관점에서 민감정보(Sensitive Personal Information)는 개인 식별뿐 아니라 개인의 내밀한 생활, 경제, 건강, 위치까지 포함하는 고위험 정보를 의미한다. 국내 개인정보보호법 및 국제 기준(GDPR, CCPA 등)을 기준으로 다음과 같은 정보는 특히 위험한 민감정보로 분류된다.
절대 입력하지 말아야 할 7가지 정보 유형
- 주민등록번호, 여권번호, 운전면허번호
→ 고유 식별 정보. 유출 시 명의도용, 범죄 연루 위험이 높다. - 은행 계좌번호, 신용카드번호
→ 금융사기, 불법 이체 등에 직접적으로 악용될 수 있다. - 건강 정보, 진료 기록, 질병 이력
→ 의료정보 유출은 법적 문제뿐 아니라 사회적 낙인 위험도 있다. - 실시간 위치, 주소, 이동 경로
→ 위치정보는 스토킹, 범죄 타깃 설정에 악용될 수 있는 고위험 데이터다. - 기업 내부 문서(소스코드, 보고서, 회의 내용)
→ 정보보호법상 개인정보는 아니더라도, 영업비밀 유출로 이어질 수 있다. - 고객 명단, 이메일 목록, 개인정보 포함 데이터셋
→ 타인의 개인정보를 무단 입력하는 행위는 이중 침해의 소지가 있다. - 신용등급, 납세 내역, 금융거래 내역
→ 개인의 경제 신뢰도와 직결되는 정보로, 유출 시 회복이 매우 어렵다.
왜 입력하면 안 되는가 – 삭제해도 남을 수 있는 데이터 구조
사용자는 종종 “입력하고 나서 삭제했으니 괜찮다”라고 생각한다. 하지만 AI 시스템의 구조는 일반적인 메모장과 다르며, 사용자의 입력이 완전히 사라지지 않을 수 있다. OpenAI의 정책에 따르면, 기본 설정 하에서는 사용자 입력이 일시적으로 저장되어 서비스 품질 개선에 사용될 수 있으며, 이 저장은 사용자가 설정을 통해 기록 비활성화(옵트아웃) 하지 않으면 기본적으로 허용된다.
OpenAI의 개인정보 정책을 간단히 요약하면 다음과 같다. 자세한 내용은 사이트를 확인하길 바란다.
🔍 요약 (OpenAI 개인정보 보호정책)
OpenAI는 사용자가 입력한 프롬프트, 업로드 파일, 계정 정보(이름, 이메일, 결제 기록 등), 장치 정보(IP, 브라우저, 위치 등) 등을 수집하며, 이를 서비스 제공, 보안, 연구 개발, 법적 대응 목적으로 사용한다. 데이터는 OpenAI 내부 및 제휴된 서비스 제공자와 공유될 수 있으며, 사용자는 데이터에 대해 열람, 수정, 삭제, 처리 제한 및 이의 제기 등의 권리를 가진다. 해당 권리는 개인보호 정책 사이트에서 제공하는 링크 또는 이메일 주소를 통해 행사할 수 있다. 일부 데이터는 기술적 또는 법적 사유로 계속 보관될 수 있다.
위험 요인 정리
1. 대화를 삭제해도, 서버에는 최대 30일간 보관된다.
사용자가 대화를 삭제하더라도, OpenAI는 보안 및 남용 감지 목적 등으로 해당 데이터를 최대 30일간 서버에 저장한다. 이는 화면(UI) 상에서의 삭제하였다고 해서 실제 데이터가 즉시 삭제되는 것은 아니라는 점을 의미한다. 사용자는 일정 기간 동안 해당 데이터가 시스템 내부에 남아 있다는 사실을 인지해야 한다.
2. 기본 설정에서는 대화가 품질 개선 목적으로 사용될 수 있다.
기본적으로 사용자의 대화는 OpenAI의 품질 개선 및 서비스 운영 목적으로 샘플링될 수 있다. 이 데이터는 모델 훈련에 사용되지는 않지만, 내부 분석 또는 평가용으로 수집될 수 있다. 다만, 사용자는 설정 메뉴를 통해 “Chat history & training” 기능을 비활성화함으로써, 향후 대화가 분석에 사용되지 않도록 설정할 수 있다. 다만, 비활성화하더라도 여전히 최대 30일 동안 데이터가 서버에 보관될 수 있다.
3. 모델에 반영된 데이터는 사용자 요청으로 삭제되지 않는다.
AI 모델은 한 번 훈련되면, 그 안에 포함된 데이터를 개별적으로 식별하거나 추적하는 것이 불가능하다. 사용자가 입력한 정보가 과거에 샘플링되어 학습 데이터에 포함되었다면, 그 내용은 향후 모델의 출력에 간접적으로 반영될 수 있으며, 개별 삭제는 기술적으로 가능하지 않다. 이는 현재의 GPT 구조뿐만 아니라 대부분의 생성형 AI 모델이 가진 공통적인 기술적인 한계이다.
4. 프롬프트 인젝션 등 간접 노출 위험이 존재한다.
악의적으로 설계되니 질문을 통해 모델 내부에 저장되었거나 학습된 유사 정보를 우회적으로 유도해 노출시키는 보안 위협이 있다. 다양한 실험과 연구에서 구조적 취약점 중 하나로 분류되고 있다.
5. 조직 내부 정보 입력 시 보안 사고로 확산될 수 있다
개인 사용자가 아닌 기업, 병원, 학교 등 조직 구성원이 업무 중 생성형 AI에 소스코드, 기획 문서, 회의록, 고객명단 등 내부 기밀 정보나 계약 상 보호 대상인 데이터를 입력할 경우, 기밀 유출로 간주될 수 있으며, 보안 규정 및 내부 정책 위반에 해당할 수 있다. 삼성전자, Apple, JPMorgan 등 다수의 글로벌 기업은 이러한 사고를 계기로 ChatGPT 등 생성형 AI 도구의 사용을 제한하거나 금지하는 조치를 취하고 있다.
실제 사례
삼성전자 보안 사고
2023년에 삼성전자 반도체 부서에서 직원들이 ChatGPT에 내부 소스코드 등 민감한 데이터를 입력한 사건이 발생했다. 이 사건 이후, 삼성은 전사적으로 ChatGPT 사용을 금지하고 자체 생성형 AI 개발을 추진했다. 이는 실수로 입력한 건이 기업 보안 정책 전체를 뒤흔든 사례이다.
글로벌 기업들의 대응
- Amazon: 직원이 코드나 문서 입력 시 보안사고 우려로 사용 제한
- JPMorgan: 민감한 금융정보 노출 방지 위해 사내 사용 제한
- Apple: 개발자들의 정보 유출 방지를 위해 생성형 AI 사용 전면 금지
이들 기업은 공통적으로 “입력은 곧 외부 유출로 이어질 수 있다”는 원칙을 수립하고 내부 가이드라인을 강화하고 있다.
실수로 입력했다면 - 현실적 4가지 대응
1. 대화 즉시 삭제하여 화면 노출 차단
실수로 입력한 내용이 있다면, 대화 기록에서 즉시 해당 대화를 삭제한다. 이 조치는 화면상에서 노출을 막는 시각적 조치일 뿐, 서버에 저장된 데이터에는 영향을 주지 않는다. 불필요한 접근이나 2차 유출 가능성을 줄이기 위한 최소한의 대응 방법이다.
2. "학습 및 분석 제외(Chat history & training)" 설정 비활성화하여 향후 입력 보호
향후 실수로 입력되는 내용이 모델 품질 개선 분석 대상이 되는 것을 막기 위해 설정 메뉴에서 해당 설정을 OFF로 전환한다. 비활성화한 후의 대화에 대해서는 내부 샘플링이나 분석 대상에서 제외된다. 비활성화하더라도 이후 대화는 학습 대상에서 제외되지만, 로그 목적의 일시 저장은 여전히 발생할 수 있으므로, 입력 자체의 주의가 본질적으로 필요하다.
3. 조직 사용자는 즉시 관리자 또는 보안 담당자에게 보고
업무상 AI를 사용하는 중에 회사 내부 정보 (소스코드, 고객정보, 프로젝트 문서 등)를 실수로 입력했다면, 보안팀 또는 IT관리자에게 즉시 사실을 보고한다. 기업 보안 규정상 입력 자체가 사고로 간주될 수 있으며, 내부 로그 추적, 기록 보존, 대응 절차는 개인이 아닌 조직 책임 부서에서 처리해야 한다. 특히 기밀 정보, 고객 정보, 소스코드, 업무 기록 등은 신고 지연 시 책임이 커질 수 있다. 신고 지연은 내부 규정 위반이 될 수 있고 사고 대응에 혼선을 초래할 수 있다. 사용자가 "실수였다"고 주장해도, 기업은 이를 보안 사고로 간주할 수 있다.
4. 사고 내용 문서화 및 반복 방지 조치 수립
언제, 어떤 환경에서 어떤 내용을 입력했는지 등을 정리해 개인 기록으로 남겨둔다. 추후 법적 이슈 또는 사고 대응 요청 시에 중요한 자료가 된다. 무엇보다, AI 사용할 때에는 비식별화된 정보만 사용하고, 민감정보는 절대 입력하지 않는 습관화가 필요하다. 조직 사용자라면 AI 입력 관련 내부 지침, 보안교육, 금지 항목을 반드시 재확인하여 미리 방지해야 한다.
✍️ 유의할 점
- 삭제는 시각적 조치일 뿐, 서버에는 최대 30일간 보관될 수 있다. 설정을 껐더라도, 보안 감시를 위한 저장은 발생할 수 있다.
- 입력된 정보가 실제로 삭제되었는지, 훈련에 사용되었는지 사용자는 알 수 없다. OpenAI는 삭제 요청을 받을 수는 있지만, 처리 결과나 범위를 사용자에게 확정적으로 통보하지 않는다.
- 모든 사후 조치는 제한적이며, 실질적인 보호는 ‘입력하지 않는 것’뿐이다. 특히 조직 사용자라면, 실수를 즉시 보고하는 것이 유일한 책임 방지 수단이다.
요약
생성형 AI는 편리하지만, 입력한 정보를 다루는 통제권은 사용자에게 없다. 대화가 끝났다고 해서 서버에 저장된 데이터가 사라지는 것도 아니며, 설정을 바꿨다고 해서 과거 입력까지 보호되지도 않는다. 특히 기업 내부자료나 개인 민감정보를 실수로 입력한 경우에 그 결과는 단순한 실수가 아닌 보안 사고로 전환될 수 있으면, 회복이 불가능한 정보 유출로 이어질 수 있다. 사후조치보다 중요한 것은 사전 통제이다. 입력은 되돌릴 수 없고, 삭제는 확신할 수 없으며, 보고는 미룰 수 없다는 점을 항상 유의하자. 결론적으로 사용자가 할 수 있는 유일한 안전장치는 단 하나이다 - 민감정보를 처음부터 입력하지 말 것.
- 생성형 AI는 사용자의 입력을 서버에 저장하고 분석할 수 있다.
- UI에서 삭제해도, 서버에는 최대 30일간 보관될 수 있다.
- 설정을 꺼도 과거 입력은 보호되지 않으며, 훈련에 반영되면 제거할 수 없다.
- 사고는 ‘입력 순간’에 발생하며, 사후 삭제는 통제 불가능하다.
- 가장 안전한 방법은 민감한 내용을 절대 입력하지 않는 것이다.
🛡️ 결론:
ChatGPT와 같은 생성형 AI는 사적인 메모장도, 보안된 도구도 아니다.
가장 확실한 보호는 민감정보를 처음부터 입력하지 않는 것뿐이다.
2025.04.04 - [Tips/AI Service] - ChatGPT 개인정보 보호 설정법
ChatGPT 개인정보 보호 설정법
ChatGPT, 많은 사람들이 편하게 쓰고 있지만 개인정보 보호를 위해 설정을 점검할 필요가 있다. AI 시대가 빠르게 다가오면서 ChatGPT와 같은 생성형 AI를 활용하는 사람들이 급격히 늘고 있다. 글쓰
it-learner.tistory.com
2025.04.25 - [Tips/Others] - 아이폰 해킹 확인 및 대처 방법 – 2025년 자가진단 가이드
아이폰 해킹 확인 및 대처 방법 – 2025년 자가진단 가이드
아이폰은 보안이 뛰어난 기기로 잘 알려져 있지만, 최근 몇 년 사이 사용자의 계정 정보 유출이나 원격 제어 앱 설치 등 현실적인 해킹 사례가 꾸준히 보고되고 있다. 특히 무심코 설치한 앱이나
it-learner.tistory.com