무검열 대 필터형 AI 이미지 생성기
콘텐츠 필터는 소수의 실제 피해를 막기 위해 만들어졌습니다. 그런데 실제로는 의학 일러스트, 법의학 재구성, 인체 드로잉, 전쟁사, 시사 풍자, 그리고 기업이 자사 제품을 그리는 일까지 막습니다. 그 대가가 무엇인지, 그리고 필터를 없애면 무엇이 달라지고 무엇이 달라지지 않는지 살펴봅니다.
요약
주류 이미지 생성기는 단어와 픽셀만 볼 뿐 목적은 결코 보지 못하는 분류기로 프롬프트와 출력을 검사합니다. 그러면 오탐이 반드시 발생하고, 그 타격은 숙련된 작업에 가장 크게 떨어집니다. 해부, 법의학, 누드 아트, 역사 이미지, 사전 시각화, 풍자, 보안 인식 자료, 그리고 자기 브랜드를 요청하는 권리자가 그렇습니다. 이 실패 양상을 다룬 최초의 대규모 벤치마크인 OVERT(ICML 2025)는 무해하지만 의심스러워 보이는 프롬프트 4,600개를 사용해 주요 모델 전반에서 과잉 거부가 광범위함을 보여 줍니다. Shannon은 이미지 생성, 단일 이미지 편집, 다중 이미지 합성을 콘텐츠 필터도 거절 레이어도 없이 자체 GPU 클러스터에서 실행하며, 차단 목록을 눈에 보이는 결정으로 대체합니다. 무언가 렌더링되기 전에 정확한 프롬프트를 보여 주는 확인 카드가 그것입니다. 이는 여러분의 책임과 우리의 책임을 함께 높이며, 둘 다 책임 있는 사용 정책에 담겨 있습니다. 동영상 생성은 없으며, 이미지 작업은 API가 아니라 채팅 앱에 있습니다.
이미지로 일하는 사람이라면 거의 모두 같은 이야기를 갖고 있습니다. 평범한 것을 묘사한 프롬프트 — 무릎 관절 단면, 충돌 순간의 자동차, 목탄으로 그린 인체 습작, 1944년의 병사 — 가 정책 위반으로 돌아옵니다. 표현을 바꾸면 다른 위반이 뜹니다. 결국 통과할 만큼 모호한 문장을 쓰게 되고, 정작 필요했던 것을 더는 보여 주지 않는 이미지를 받습니다. 도구는 요란하게 실패하지 않았습니다. 조금씩 실패하면서, 타협한 쪽을 여러분으로 만들었습니다.
01AI 이미지 생성기는 왜 명백히 정당한 프롬프트를 거부하는가
그 거부는 대개 이미지 모델의 견해가 아닙니다. 모델을 둘러싼 필터링 스택의 출력이며, 그 계층들이 여러분이 받아 온 이상한 거부의 거의 전부를 설명합니다.
| 계층 | 검사 대상 | 전형적 실패 |
|---|---|---|
| 프롬프트 차단 목록 | 텍스트 속 문자열과 유사 변형 | 주변 문장과 무관하게 단어를 차단 — "speculum"은 실패, "stethoscope"는 통과 |
| 프롬프트 분류기 | 프롬프트의 "위험도"에 대한 학습된 판단 | 주제 근접성에 반응 — 의학, 무기, 신체, 정치 근처면 무엇이든 높은 점수 |
| 모델 거절 학습 | 모델 자체에 학습된 주저함 | 오류 없이 거부하거나, 조용히 순화된 대체물을 생성 |
| 출력 분류기 | 프롬프트 맥락 없는 렌더링된 픽셀 | 해부도와 포르노, 영화 스틸과 실제 사건을 구분하지 못함 |
| 정책 치환 | 렌더링 전 프롬프트의 조용한 재작성 | 이미지는 나오지만 지정한 그 이미지가 아니며, 이유도 알려 주지 않음 |
모든 계층이 하나의 사각지대를 공유합니다. 어느 것도 여러분이 왜 요청하는지 보지 못합니다. 의학 일러스트레이터, 충돌을 재구성하는 원고 측 전문가, 악의를 품은 사람이 모두 같은 명사를 입력합니다. 필터는 해부학 도감이나 사건 기록이 아니라 명사를 보며, 통과시킨 피해로만 평가받을 뿐 파괴한 작업으로는 결코 평가받지 않습니다. 그런 비대칭 아래에서 어떤 운영자에게든 합리적인 설정은 더 많이 거부하기입니다. "그냥 표현을 바꿔 보라"가 해법이 아닌 이유이기도 합니다. 표현을 바꾼다고 필터에 없던 정보가 생기지는 않습니다. 그저 걸린 단어에서 프롬프트를 멀어지게 할 뿐이고, 그것은 대개 여러분의 의도에서 멀어진다는 뜻입니다.
02콘텐츠 필터가 정말로 막으려는 것
필터가 아무 이유 없이 존재하는 척하는 무필터 옹호론은 읽을 가치가 없습니다. 누가 왜 요청했는지와 무관하게 이미지 자체에 피해가 내재된 출력의 좁은 집합이 존재합니다.
- 미성년자가 등장하는 성적 콘텐츠. 어떤 맥락도 이를 용인하게 만들지 않으며, 어떤 전문 작업 흐름도 이를 필요로 하지 않습니다.
- 실존 인물의 비동의 성적 이미지. 피해는 동의하지 않은 사람에게 떨어지고, 삭제 조치로 되돌릴 수 없습니다.
- 표적 괴롭힘과 명예훼손적 날조 — 특정 인물이 하지 않은 일을 한 것처럼 보이게 만드는 것.
- 위조 수준의 문서 — 진짜처럼 통용되도록 만든 여권, 신분증, 지폐, 인장, 금융 증서.
- 기만적 합성 증거 — 실제 사건을 날조한 이미지를 삽화가 아니라 기록물로 제시하는 것.
이 목록은 짧고 구조가 있습니다. 피해는 산출물 자체에, 실존 인물이나 문서와의 유사성에, 그리고 그것을 진실로 제시하는 데 있습니다. 목록에 없는 것을 보세요. 누드, 피, 무기, 역사적 참극, 정치적 조롱은 없습니다. 이것들은 의학, 저널리즘, 예술, 법의학, 풍자의 원재료이며, 이를 피해 범주로 다루는 필터는 어떤 주제가 점잖은가에 대한 훨씬 넓은 관념을 구현하고 있는 것입니다.
Shannon은 그 목록의 모든 항목을 금지합니다. "placenta"까지 걸리는 키워드 표가 아니라, 범주와 결과를 명시한 공개된 책임 있는 사용 정책으로 금지합니다. 하나는 여러분이 읽고 우리에게 책임을 물을 수 있는 규칙이고, 다른 하나는 볼 수 없는 분류기가 여러분의 의도를 추측한 결과입니다.
03과잉 거부 문제는 얼마나 큰가: 연구가 측정한 것
최근까지 이미지 모델의 과잉 거부는 일화였습니다. 같은 이야기를 가진 수천 명이 있었지만 규모를 잴 방법이 없었습니다. OVERT(OVEr-Refusal evaluation on Text-to-image models)가 그것을 바꾸었습니다. Ziheng Cheng, Somayeh Sojoudi, Xuandong Zhao, Dawn Song, Song Mei를 포함한 UC 버클리 연구진이 ICML 2025에서 발표한, 텍스트-이미지 시스템이 전적으로 무해한 프롬프트를 얼마나 자주 거부하는지 측정한 최초의 대규모 벤치마크입니다.
설계가 중요합니다. 4,600개 프롬프트는 무해하면서도 유해해 보이도록 만들어졌습니다. 메스, 멍, 시위를 언급하는 실제 전문 요청의 형태를 띱니다. 그리고 진짜 유해한 프롬프트 1,785개가 대조군으로 함께 놓여, 모든 것을 거부해서 좋은 점수를 받을 수는 없게 되어 있습니다. 아홉 개 범주는 개인 및 공인의 프라이버시부터 저작권, 차별, 자해, 성적 콘텐츠, 불법 행위, 폭력까지 걸쳐 있습니다.
핵심 발견은 과잉 거부가 범주 전반, 주요 모델 전반에서 광범위하다는 것입니다. 두 번째 발견은 표준적인 우회책에 더 치명적입니다. 저자들은 완화책으로 프롬프트 재작성을 시험했고, 그것이 "원래 프롬프트의 의미에 대한 충실도를 자주 훼손한다"고 보고합니다. 요청한 내용을 바꿔서 필터를 통과할 수는 있지만, 그러면 요청했던 것을 더는 갖지 못합니다.
더 좁은 범위의 연구가 픽셀 쪽에서 같은 결론에 도달합니다. An Art-centric perspective on AI-based content moderation of nudity(Riccio, Curto, Hofmann, Oliver, ECCV 2024 AI4VA 워크숍)에서 저자들은 실제 서비스용 NSFW 분류기 세 개를 예술적 누드에 대해 평가하여 성별 편향과 양식 편향을 함께 밝혀냈습니다. 인체 습작에 대한 판정이 누구의 몸을 어떤 양식으로 그렸는지에 따라 달라진다는 것입니다. 이는 모든 인체 드로잉 작가가 "기분 탓"이라고 들어 온 그 현상을 측정으로 진술한 결과입니다.
04필터형 생성기가 막는 여덟 가지 정당한 작업
다음은 과잉 거부가 불편이 아니라 작업 중단이 되는 범주들입니다. 구체적으로 보도된 사례가 있는 경우에는 인용했고, 확인되지 않은 경우에는 사건을 지어내지 않고 범주만 설명했습니다.
1. 의학 및 해부 일러스트
이 분야에서 가장 잘 기록된 사례입니다. 2023년 4월 The Intercept(Debbie Nathan)는 Midjourney가 speculum, placenta, cervix, vulva, fallopian tubes, mammary glands, uterine, urethra, hymen, sperm, condom, IUD를 포함한 해부학 용어를 금지했고, DALL·E 2는 "약물 낙태에 쓰이는 알약"을 콘텐츠 정책 메시지와 함께 거부했다고 보도했습니다. 이 패턴은 세포생물학자 친구에게 선물하려고 태반 그림을 만들어 보려던 임상 데이터 분석가 Julia Rockwell이 발견해 MIT Technology Review에 알린 것입니다. 비대칭이 핵심 단서입니다. "stethoscope"는 정상 생성되는데 "speculum"은 금지되었습니다. 워싱턴대학교 연구자 Bill Howe는 이 필터들을 "서투르다"고 표현하며 "생식에 관한 과학적 논의를 사실상 불가능하게 만들었다"고 말했습니다. 환자 교육, 수술 도감, 간호 교육과정 모두 신체를 정확히 묘사해야 하며, 여기에는 키워드 목록이 외설이라고 판정한 부위도 포함됩니다.
2. 법의학 및 사고 재구성
충돌 재구성, 화재 발화점 분석, 법정 시연 자료는 손상, 상처, 폭력적 역학을 임상적 정확도로 묘사해야 합니다. "피"나 "총상"을 거부하도록 조정된 필터는 이 분야 전체를 거부하는 셈입니다. 전문가 보고서나 보험 서류라는 맥락은 분류기에 보이지 않고, 그런 이미지를 증거로 받아들일 수 있게 하는 바로 그 중립성이 잔혹 묘사로 읽히게 만듭니다.
3. 누드 아트와 인체 드로잉
누드는 어디서나 예술의 근본 주제이며, 인체 습작은 미술 교육의 핵심입니다. 위의 ECCV 2024 결과는 작가들이 말해 온 바를 측정으로 옮긴 것입니다. 분류기는 인체 습작과 포르노를 안정적으로 구분하지 못하고, 그 오류는 성별과 양식에 따라 편향됩니다. 마땅히 알아봐야 할 전통에 가장 가혹한 필터인 셈입니다.
4. 역사 및 전시 이미지
교과서 삽화, 박물관 해설, 추모 프로젝트는 군복, 무기, 수용소, 전투, 참극을 묘사해야 합니다. 2024년 2월 Gemini 사건은 실패가 반대 방향으로 진행되었는데도 똑같은 피해를 냈다는 점에서 시사적입니다. Google은 나치 시대 독일 병사를 포함한 역사적 집단을 인종적으로 재구성해 묘사한 결과가 나온 뒤 2024년 2월 22일 Gemini의 인물 이미지 생성 기능을 중단했습니다. CEO Sundar Pichai는 그 출력을 "전적으로 용납할 수 없다"고 했고, SVP Prabhakar Raghavan은 모델이 "과잉 보정"되어 "지나치게 보수적"이 되었다고 인정했습니다. 맥락을 보지 못하는 안전장치는 역사 이미지를 더 안전하게 만들지 못했습니다. 그것을 거짓으로 만들었고, 역사 출판사에게는 그편이 더 나쁩니다.
5. 픽션 속 폭력과 영화 사전 시각화
스토리보드, 콘셉트 아트, 만화, 게임 디자인은 소설이나 영화와 같은 이유로 폭력을 묘사합니다. 호러 스토리보드와 위협을 구분하지 못하는 필터는 서사 예술 파이프라인 전체를 의심 대상으로 취급합니다. 스토리보드는 명시적으로 실재가 아니며, 배우와 특수효과 팀이 연출할 장면의 계획인데도 그렇습니다.
6. 정치 풍자와 시사만화
권력자에 대한 캐리커처는 대부분의 민주주의 국가에서 가장 강하게 보호받는 표현 범주에 속하지만, 이미지 필터가 가장 먼저 제거하는 것이기도 합니다. 가장 명확히 기록된 사례는 Midjourney가 2023년 4월 중국 시진핑 주석의 이미지를 금지하고 프롬프트에서 그의 이름을 차단하기로 한 결정입니다. PetaPixel, Decrypt 등이 보도했으며, 다른 국가 지도자들은 계속 허용되었습니다. 창업자 David Holz는 디스코드에서 회사가 "드라마를 최소화"하고 싶다며 "중국 사람들이 이 기술을 쓸 수 있는 것이 당신이 풍자를 생성할 수 있는 것보다 중요하다"고 설명했고, Foundation for Individual Rights and Expression의 Sarah McLaughlin은 이를 검열이라고 규정했습니다. 사업적 계산에 대해 어떤 결론을 내리든 그 메커니즘은 짚고 넘어갈 만합니다. 한 국가의 표현 규제가 전 세계 모든 사용자에게 적용되었습니다. 전역 필터에는 설정이 하나뿐이기 때문입니다.
7. 보안 연구와 피싱 인식 자료
보안 팀은 경고하려는 대상과 똑같이 보여야 하는 교육 자료를 만듭니다. 그럴듯한 가짜 로그인 화면, 위조된 청구서, 주차 미터기에 붙은 악성 QR 코드 같은 것들입니다. 분류기에게 이는 예방하려는 공격과 구별되지 않습니다. 진짜 같아 보이는 것이 핵심이기 때문입니다. 그래서 필터는 방어와 공격을 똑같이 막고, 어차피 필터 걸린 소비자 도구를 쓸 생각이 없던 공격자에게 유리하게 작용합니다.
8. 자기 브랜드, 제품, 초상 이미지를 거부당하는 권리자
저작권과 상표 필터링은 소유권을 확인하지 않습니다. 유사성을 확인합니다. 기업은 자기 로고나 제품 이미지를 쉽게 생성하지 못하고, 권리자는 자기 캐릭터를 그리지 못하며, 사람들은 자기 얼굴조차 생성하지 못하는 경우가 잦습니다. 초상 필터가 동의가 아니라 인식 가능성에 반응하기 때문입니다. OVERT가 아홉 개 과잉 거부 범주에 "저작권 침해"를 포함한 것도 바로 이 오탐이 그만큼 흔하기 때문입니다. 필터는 여러분에게 그럴 권리가 있는가?라는 질문에 대해, 물어볼 방법조차 없는 무딘 도구입니다.
위 여덟 가지 중 넷은 구체적으로 공개된 사례에 근거합니다(의학, 누드 아트, 역사, 풍자). 여덟 번째는 OVERT의 저작권 범주에 근거합니다. 법의학, 픽션 사전 시각화, 보안 인식 자료는 범주로 기술했습니다. 영향을 받는 전문 작업의 널리 알려진 유형이지만, 우리가 확인한 구체적 공개 사건은 없습니다.
위에 기록된 모든 사례는 공개되어 있고 독립적으로 검증할 수 있습니다. 우리의 서술을 믿지 말고 직접 읽어 보세요.
05AI 아트 생성기가 엉뚱한 것을 막는 이유, 그리고 콘텐츠 필터 오탐을 조정으로 없앨 수 없는 이유
과잉 차단에 대한 직관적 대응은 "임계값을 낮추자"입니다. 그것은 통하지 않습니다. 노력이 부족해서가 아니라 구조적인 이유 때문입니다.
범주들은 신호에서 겹치지만 현실에서는 겹치지 않습니다. 수술 일러스트와 포르노는 누드를 공유합니다. 법의학 재구성과 잔혹 묘사는 피를 공유합니다. 인식 교육 슬라이드와 피싱 키트는 가짜 로그인 폼을 공유합니다. 풍자 만화와 명예훼손적 날조는 알아볼 수 있는 정치인을 공유합니다. 각 쌍을 가르는 것은 목적과 제시 방식이며, 이는 프롬프트에도 픽셀에도 없습니다. 입력 공간의 같은 영역을 차지하는 두 모집단을 어떤 임계값도 가르지 못합니다. 임계값을 옮기면 한쪽 오류가 다른 쪽 오류로 바뀔 뿐입니다. Gemini 사건이 보여 준 것이 바로 그것입니다. 한 실패를 고치려던 개입이 다른 실패를 낳았고, Google 자사 SVP가 그것을 "과잉 보정"이라고 표현했습니다.
비용은 여러분이 아니라 운영자에게 비대칭적입니다. 나쁜 이미지 하나를 통과시킨 필터는 기사거리를 만듭니다. 정당한 이미지 만 개를 막은 필터는 침묵을 만듭니다. 거부당한 사용자들은 조직하지 않고 포기하기 때문입니다. 그런 비대칭 아래의 위험 관리는 영구적으로 과잉 차단으로 수렴합니다. 그리고 근본 판단이 불가능하기 때문에 차단 목록은 사건이 터질 때마다 문자열을 쌓아 갑니다. "stethoscope"는 괜찮고 "speculum"은 금지되는 상황이 그렇게 생깁니다. 누구도 여성 특화 기구가 더 위험하다고 결정하지 않았습니다. 목록은 항의가 들어온 자리에서 자랐습니다. 그것은 피해에 대한 이론이 아니라 운영자의 홍보 이력을 부호화한 것입니다.
가장 엄격한 관할권이 전역 기본값이 됩니다. 필터 하나가 모든 나라의 모든 사용자를 담당하므로, 한 시장을 위해 추가한 규제가 전부에게 수출됩니다. 시진핑 규칙이 교과서적 사례입니다. 그리고 프롬프트를 다시 쓰면 의미가 파괴됩니다. 그것이 OVERT의 실험적 논점이며, 필터를 통과시키려고 요청을 완곡어로 세탁해 본 모든 전문가가 몸소 확인한 사실입니다. 여러분은 이긴 것이 아니라 타협한 것입니다.
이 중 어느 것도 공짜가 아니며, 조용히 실패하기 때문에 그 비용은 운영자가 보는 지표에 나타나지 않습니다. 거부를 충분히 겪고 나면 아예 묻지 않게 되고, 통과할 것 같은 범위로 모든 프롬프트를 미리 좁힙니다. 마침내 통과한 완곡어는 여러분의 문서에 필요했던 것과 가깝지만 그것은 아닌 이미지를 내놓습니다. 일반적인 정책 메시지는 어느 계층이 걸렸는지 알려 주지 않으므로 추측하고 재시도할 수밖에 없습니다. 그리고 이미지 작업은 반복적이므로, 다섯 번에 한 번 걸리는 필터는 속도를 늦추는 정도가 아니라 작업 루프를 끊어 놓습니다. 한편 진지한 도구를 요구할 근거가 가장 강한 분야들에는 검토자도, 이의 제기 절차도, 대개 무엇이 차단되는지에 대한 공개 목록도 없습니다. 읽을 수 없는 규칙은 규칙이 아니라 날씨입니다.
06무검열 대 필터형 AI 이미지 생성기: 실제로 달라지는 것
다음은 이 비교의 솔직한 버전이며, 필터 없는 시스템이 주지 못하는 것도 포함합니다.
| 기준 | 필터형 생성기 | 무필터 (Shannon) |
|---|---|---|
| 결정 주체 | 단어와 픽셀을 읽는 분류기 | 정확한 프롬프트를 읽는 사람 |
| 알게 되는 시점 | 제출한 뒤 — 때로는 결제한 뒤 | 렌더링과 과금이 일어나기 전 |
| 규칙의 정체 | 공개되지 않고 계속 바뀌는 차단 목록 | 공개된 책임 있는 사용 정책 |
| 전문적 맥락 | 시스템에 보이지 않음 | 여러분이 쥐고, 여러분이 책임짐 |
| 실패 양상 | 조용한 과잉 차단, 의미 이탈 | 요청한 것을 그대로 받음 — 실수까지 포함해서 |
| 위험 부담 주체 | 벤더가 지되, 여러분의 작업에 떠넘겨짐 | 공유: 운영자 정책 + 사용자 책임 |
사람들이 건너뛰는 마지막 행이 정작 중요한 행입니다. 필터를 없앤다고 02절의 피해 범주가 사라지지 않습니다. 그것들에 대해 서투르게 추측하던 기계가 사라질 뿐입니다. 의무는 있던 자리에 그대로 있고, 이제 맥락을 추론할 수 있는 두 당사자가 그것을 집니다. 정책을 공개하고 집행하는 운영자, 그리고 그 이미지가 무엇을 위한 것인지 아는 여러분입니다. 필터 없는 AI 이미지 생성은 이미 자기 결과물을 책임질 준비가 된 사람들 — 외과의의 도감, 전문가 보고서, 스토리보드, 시사만화 — 을 위한 도구이며, 그들은 자신을 다른 누군가와 구분하지 못하는 시스템에 가로막혀 있었습니다.
07Shannon이 하는 일과 하지 않는 일
여기서는 열의보다 정확성이 중요합니다. 특히 API를 검색해 오신 분들에게 그렇습니다.
하는 일
- 생성. 어떤 언어로든 평범한 말로 이미지를 묘사하세요. 여러분이 어떤 언어로 요청했든 Shannon이 생성 프롬프트를 영어로 직접 작성합니다.
- 이미지 한 장 편집. 정확히 한 장의 원본 — 이미 대화에 있는 그림이거나 현재 메시지에 첨부한 그림 — 을, 무엇이 바뀌고 무엇이 그대로인지 말하는 지시로 변경합니다. 결과물은 원본의 화면 비율을 자동으로 유지합니다.
- 둘 이상의 이미지 합성. 의상 이식, 오브젝트를 장면에 넣기, 인물 옆에 인물 세우기, 제품 착용, 한 이미지의 주제에 다른 이미지의 스타일 입히기. 프롬프트가 각 이미지의 역할을 순서대로 명시하며, 실제 이미지가 사용되므로 다시 묘사하는 대신 실제 외형이 보존됩니다.
- 비율 제어. square(기본), portrait, landscape, wide, tall. 명시적 요청이 항상 우선합니다.
- 자체 GPU 클러스터에서 렌더링하며, 생성 경로에 콘텐츠 필터가 없고 프롬프트를 작성하는 모델에 거절 레이어가 없습니다.
하지 않는 일
- 동영상 없음. Shannon은 이미지를 애니메이션으로 만들지 않고 동영상을 만들지 않습니다. 슬쩍 감춰 둔 로드맵 항목이 아니라, 존재하지 않습니다.
- API에는 없음. 이미지 생성, 편집, 합성은 Shannon 채팅 앱에 있습니다. /v1 API는 텍스트와 비전을 제공하며 — 보내는 이미지를 읽을 수 있지만 — 렌더링하지는 않습니다.
- 요청하지 않은 생성 없음. 인사, 질문, 가볍게 첨부한 사진은 이미지를 유발하지 않습니다. Shannon에게 이미지를 봐 달라고 하는 것 — 설명, 판독, 분석 — 은 생성이 아니라 평범한 비전 작업이며 추가 비용이 들지 않습니다.
확인 카드
이것이 필터를 대체하는 메커니즘이며, 형식적 절차가 아니라 설계 선택입니다. Shannon이 여러분이 이미지를 요청한다고 판단하면 생성 프롬프트를 작성하고 무언가 렌더링되기 전에 확인 카드로 보여 줍니다. 여러분이 확인하기 전에는 아무것도 생성되지 않고 과금되지도 않습니다.
두 설계를 그 자체로 비교해 보세요. 필터는 여러분보다 적은 정보로 여러분의 의도를 추측하고, 그 추측을 조용히 집행합니다. 확인 카드는 어떤 연산도 쓰이기 전에, 그 이미지가 무엇을 위한 것인지 아는 당사자 앞에 이미지의 문자 그대로의 명세를 놓습니다. 필터가 결코 하지 못하는 일, 즉 여러분의 요청이 잘못 읽힌 것을 잡아내고, 모델이 덜 구체화한 해부학적 정밀함이나 역사적 세부를 여러분이 보태게 하며, 책임을 흐릿하지 않고 읽을 수 있게 만듭니다. 여러분이 프롬프트를 보았고, 여러분이 버튼을 눌렀습니다.
08필터 없는 생성은 책임을 없애는 것이 아니라 높입니다
이 내용은 각주가 아니라 여기에 놓여야 합니다. 논증의 절반이기 때문입니다. 필터형 생성기는 지킬 수 없는 약속을 합니다. 도구가 여러분을 대신해 오용을 막아 주겠다는 약속입니다. 그 약속은 양방향으로 실패합니다. 외과의를 막고, 다른 선택지가 늘 있었던 작정한 악의적 사용자는 막지 못합니다. 그것이 확실히 하는 일은 책임이 기계에 의해 상류에서 처리되었다고 모두가 느끼게 하는 것입니다. 필터를 없애면 그 허구가 사라지고, 어떤 이미지가 존재해야 하는가라는 질문은 그 답을 낼 수 있는 사람들에게 돌아옵니다.
- Shannon Lab LLC의 의무. 공개되지 않은 차단 목록이 아니라 금지 범주를 명시한, 공개되고 구체적인 책임 있는 사용 정책 — 여러분이 읽고, 인용하고, 우리에게 책임을 물을 수 있는 규칙입니다.
- 여러분의 의무. 목적, 대상, 관할권, 그리고 묘사되는 모든 사람의 동의 여부를 아는 것은 여러분입니다. 도구는 모르고, 분류기는 결코 알 수 없습니다. 확인 카드는 그 지식이 중요한 순간에, 그것을 가진 당사자에 의해 적용되도록 존재합니다.
- 움직이지 않는 선. "필터가 나를 막지 않았다"는 어떤 매체에서도 변론이 된 적이 없습니다. 카메라는 거부하지 않고 연필도 거부하지 않습니다. 법과 직업윤리는 도구가 아니라 사용을 규율합니다. 필터 없는 생성기는 다른 모든 전문 도구가 따르는 평범한 질서를 되돌려 놓을 뿐입니다.
시작하기 전에 책임 있는 사용 정책을 읽으세요. 짧고 구체적이며, 이 제품의 나머지를 정당화해 주는 부분입니다.
09자주 묻는 질문
AI 이미지 생성기는 왜 명백히 정당한 프롬프트를 거부합니까?
대부분의 필터가 여러분의 목적이 아니라 프롬프트에 쓰인 단어를 판단하기 때문입니다. 분류기는 여러분이 누구인지, 왜 요청하는지 전혀 알지 못한 채 모델 앞에 놓여 있습니다. 그래서 의학 일러스트레이터, 법의학 분석가, 악의적 사용자가 모두 같은 명사를 입력하고 모두 같은 거부를 받습니다. The Intercept는 2023년 4월 Midjourney가 speculum, placenta, cervix를 포함한 해부학 용어를 금지한 반면 stethoscope는 정상적으로 작동했다고 보도했습니다.
AI 아트 도구의 콘텐츠 필터 오탐을 측정한 연구가 있습니까?
있습니다. OVERT (arXiv:2505.21347, ICML 2025)는 텍스트-이미지 모델에 대한 최초의 대규모 과잉 거부 벤치마크입니다. 아홉 개 안전 범주에 걸쳐 유해해 보이지만 실제로는 무해한 프롬프트 4,600개와, 대조군으로 진짜 유해한 프롬프트 1,785개를 사용합니다. 저자들은 주요 모델 전반에서 과잉 거부가 광범위하다고 보고합니다. 별도의 ECCV 2024 연구는 예술적 누드를 대상으로 평가한 NSFW 분류기 세 개에서 성별 편향과 양식 편향을 발견했습니다.
무검열 AI 이미지 생성기는 실제로 무엇을 바꿉니까?
생성 경로에서 거절 레이어와 콘텐츠 필터를 제거하여, 정당한 요청이 조용히 공격으로 재분류되지 않게 합니다. 판단을 없애는 것이 아니라 판단이 이루어지는 자리를 옮깁니다. Shannon은 무언가 렌더링되기 전에 정확한 생성 프롬프트를 확인 카드로 보여 주므로, 무엇이 만들어질지 볼 수 있는 사람이 책임 있는 사용 정책 아래에서 결정을 내립니다.
Shannon은 동영상을 생성합니까?
아니요. Shannon은 새 이미지를 생성하고, 기존 이미지 한 장을 편집하며, 둘 이상의 이미지를 하나로 합성합니다. 이미지를 애니메이션으로 만들지 않으며 어떤 종류의 동영상도 만들지 않습니다.
Shannon API로 이미지를 생성할 수 있습니까?
아니요. 이미지 생성, 편집, 합성은 Shannon 채팅 앱에 있습니다. /v1 API는 여러분이 제공한 이미지를 읽고 분석하는 텍스트와 비전을 제공할 뿐 이미지 생성은 하지 않습니다.
필터가 없다면 무엇이 오용을 막습니까?
키워드 차단 목록이 아니라 정책, 책임, 그리고 눈에 보이는 결정 지점입니다. Shannon은 요청하지 않은 이미지를 결코 생성하지 않고, 렌더링 전에 전체 프롬프트를 보여 주며, 여러분이 확인하기 전에는 과금하지 않습니다. 또한 미성년자가 등장하는 성적 콘텐츠, 실존 인물의 비동의 성적 이미지, 표적 괴롭힘, 신분 및 금융 문서 위조를 금지하는 공개된 책임 있는 사용 정책 아래에서 운영됩니다.
정말 필요한 이미지를 요청하세요
채팅 앱에서 생성, 단일 이미지 편집, 다중 이미지 합성 — 콘텐츠 필터도 거절 레이어도 없고, 렌더링 전에 프롬프트가 화면에 뜹니다.
채팅 시작하기 책임 있는 사용 정책이미지는 채팅 앱에서 · 동영상 생성 없음 · 리서치 더 보기
출처: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan, The Intercept, 2023년 4월 22일 · PetaPixel, 2023년 4월 3일 · CNBC, 2024년 2월 22일. Shannon AI는 미국 뉴멕시코주의 Shannon Lab LLC가 운영합니다.