AI 요약
META가 생성형 AI의 오용 방지를 위해 Thorn 등 업계 파트너들과 협력하여 안전 원칙을 준수합니다.
이는 아동 착취 콘텐츠 생성 방지에 기여하며, META의 책임감 있는 AI 개발 의지를 보여주는 긍정적인 신호입니다.
AI 모델 개발 시 아동 안전 위험을 선제적으로 해결하고, 훈련 데이터에서 CSAM 및 CSEM을 제거하며, 유해 콘텐츠 생성 능력을 지속적으로 테스트하는 등 안전을 최우선으로 고려할 것입니다.
핵심 포인트
- META가 생성형 AI의 오용 방지를 위해 Thorn 등 업계 파트너들과 협력하여 안전 원칙을 준수합니다.
- 이는 아동 착취 콘텐츠 생성 방지에 기여하며, META의 책임감 있는 AI 개발 의지를 보여주는 긍정적인 신호입니다.
- AI 모델 개발 시 아동 안전 위험을 선제적으로 해결하고, 훈련 데이터에서 CSAM 및 CSEM을 제거하며, 유해 콘텐츠 생성 능력을 지속적으로 테스트하는 등 안전을 최우선으로 고려할 것입니다.
긍정 / 부정 요인
긍정 요인
- 생성형 AI 오용 방지를 위한 업계 협력
- 아동 착취 콘텐츠 생성 방지 노력
- 책임감 있는 AI 개발 의지 표명
- 아동 안전 위험 선제적 해결 약속
- 훈련 데이터에서 CSAM 및 CSEM 제거 약속
기사 전문
Meta, 생성형 AI 안전성 강화 위한 '안전 설계' 원칙 발표
Meta(META)가 생성형 AI 기술의 잠재력을 활용하는 동시에 아동 착취와 같은 온라인 유해 콘텐츠 확산을 막기 위한 강력한 안전 조치를 발표했습니다. 10년 이상 온라인 안전을 위해 노력해 온 Meta는 이번 발표를 통해 생성형 AI 개발 및 배포 전 과정에 걸쳐 '안전 설계(Safety by Design)' 원칙을 적용하겠다고 밝혔습니다.
Meta는 이번 발표에서 Thorn, All Tech is Human 등 업계 선도 기업들과 협력하여 아동 착취에 생성형 AI가 악용되는 것을 방지하는 데 힘을 모을 것이라고 강조했습니다. 이를 위해 Meta는 아동 안전 위험을 사전에 해결하는 생성형 AI 모델 개발, 훈련 데이터셋의 책임 있는 소싱 및 아동 성적 학대 및 착취 자료(CSAM, CSEM)로부터의 보호, 개발 과정에서의 피드백 루프 및 반복적 스트레스 테스트 전략 통합, 그리고 악의적 오용을 염두에 둔 콘텐츠 출처 증명(content provenance) 적용 등 세 가지 핵심 원칙을 제시했습니다.
특히 Meta는 훈련 데이터셋에 CSAM 및 CSEM이 포함될 경우, 생성형 모델이 이러한 유해 콘텐츠를 재생산할 위험이 있음을 지적했습니다. 이에 Meta는 CSAM 및 CSEM 포함 위험이 있는 훈련 데이터를 회피하거나 완화하고, 훈련 데이터에서 해당 자료를 탐지 및 제거하며, 확인된 CSAM은 관련 당국에 보고할 것을 약속했습니다. 또한, 영상, 이미지, 오디오 생성 훈련 데이터셋에서 아동에 대한 성인 성적 콘텐츠 묘사와의 병치를 통해 AIG-CSAM(AI 생성 CSAM)이 생성될 위험을 해결하겠다고 밝혔습니다.
모델 개발 과정에서는 지속적인 학습과 테스트를 통해 유해 콘텐츠 생성 능력을 파악하고, 악의적인 오용 시도를 사전에 차단하는 데 집중할 계획입니다. Meta는 법적 테두리 안에서 AIG-CSAM 및 CSEM 생성 능력에 대한 모델 스트레스 테스트를 구조적이고 확장 가능하며 일관되게 수행하고, 그 결과를 모델 훈련 및 개발에 통합하여 안전성을 강화하겠다고 말했습니다.
또한, Meta는 생성형 AI를 악용한 AIG-CSAM의 확산이 이미 심각한 문제인 아동 착취 피해자 식별을 더욱 어렵게 만들고 있다고 지적했습니다. 이에 Meta는 AI 생성 콘텐츠 여부를 신뢰할 수 있게 식별할 수 있는 최첨단 미디어 출처 증명 또는 탐지 솔루션 개발에 힘쓰고, 워터마킹과 같은 기술을 통해 콘텐츠에 감지 불가능한 신호를 삽입하는 방안도 기술적으로 가능한 범위 내에서 고려할 것이라고 덧붙였습니다.
배포 단계에서는 훈련 및 평가를 거친 생성형 AI 모델을 출시하고, 아동 안전을 위한 보호 조치를 전 과정에 걸쳐 제공할 예정입니다. Meta는 자사의 생성형 AI 제품 및 서비스가 사기 및 학대로부터 자유로운 창작 공간이 되도록 CSAM, AIG-CSAM, CSEM 등 유해 콘텐츠에 대한 방지 및 대응 노력을 강화할 것이라고 밝혔습니다. 사용자 신고 및 피드백 옵션을 통합하여 사용자들이 플랫폼에서 자유롭게 창작 활동을 할 수 있도록 지원할 계획입니다.
Meta는 또한 자사에서 개발한 생성형 AI 모델뿐만 아니라 제3자 모델의 책임 있는 호스팅에도 힘쓸 것이라고 강조했습니다. AIG-CSAM 및 CSEM을 생성할 가능성이 있는 모델을 최소화하고, 아동 안전 규정을 위반하는 모델은 명확한 규칙과 정책을 통해 금지할 것이라고 밝혔습니다. 개발자들에게도 안전 설계에 대한 주인의식을 고취하고, 모델에 대한 아동 안전 관련 정보를 제공하며, 개발 생태계의 아동 안전 위험 해결 노력을 지원할 것이라고 덧붙였습니다.
마지막으로 Meta는 모델 및 플랫폼 안전성을 유지하기 위해 아동 안전 위험을 지속적으로 파악하고 대응할 것이라고 말했습니다. 악의적인 행위자들이 특정 아동을 대상으로 한 AIG-CSAM을 생성하거나 아동의 콘텐츠를 "누디파이(nudify)"하여 새로운 AIG-CSAM을 만드는 행위에 대해 플랫폼 및 검색 결과에서 해당 모델과 서비스를 제거할 것이라고 밝혔습니다. 또한, 온라인 아동 성적 학대 및 착취에 대응하기 위한 연구 및 미래 기술 솔루션에 대한 투자를 지속하고, 플랫폼에서 발생하는 CSAM, AIG-CSAM, CSEM과의 싸움에 적극적으로 나설 것이라고 강조했습니다. Meta는 새로운 위협 벡터가 등장함에 따라 이에 대응하고, 플랫폼에서 아동 안전 규정을 위반하는 콘텐츠를 탐지 및 제거하며, 생성형 AI를 악용한 아동 성적 학대 및 사기적 사용을 근절하기 위한 노력을 지속할 것이라고 약속했습니다.