우리는 왜 ‘적’을 만들어내는가: 집단 정체성, 악마화 심리, 그리고 AI 시대 혐오·선동의 판별법

# 우리는 왜 '적'을 만들어내는가: 집단 정체성, 악마화 심리, 그리고 AI 시대 혐오·선동의 판별법 '적'은 현실에서 먼저 발견되는 대상이 아니다. 집단이 자기 정체성을 안정화하는 과정에서 구성되는 장치에 가깝다. 적은 외부에 존재하기보다, 내부의 불안과 경쟁, 결속 욕구가 외부로 투사되며 만들어진다. 문제는 AI 시대에 이 장치가 더 빠르고 정교하게 작동한다는 점이다. 추천 알고리즘과 생성형 모델은 인간의 타자화 경향을 증폭시키면서도, 그것을 '중립적 정보'의 형태로 포장한다. 지금 필요한 것은 도덕적 훈계가 아니다. 혐오와 선동을 구조적으로 판별하고 기술적으로 완화하는 방법론이다. --- ## '적'이 필요해지는 순간들 현장에서 관찰되는 혐오와 선동의 패턴은 의외로 단순하다. 경기 침체, 불평등, 이주, 범죄, 전염병, 기술 실직처럼 복잡한 원인과 긴 시간축을 요구하는 문제 앞에서, 사람들은 설명 비용을 줄이려 한다. 원인을 단일 타깃으로 압축하는 것이다. 이때 타깃은 '집단'이 된다. 개인의 사건이 집단의 본질로 환원되고, 예외는 삭제된다. 플랫폼에서는 이 현상이 더 자주, 더 강하게 나타난다. 정서적으로 자극적인 콘텐츠가 주목과 체류 시간을 확보하기 쉽고, 그 지표가 다시 노출을 강화하기 때문이다. 과거에는 선동가가 군중을 모아야 했다. 이제는 피드가 군중을 생성한다. "사람들이 원해서 본다"는 설명은 절반만 맞다. 다른 절반은 "시스템이 보이게 만든다"이다.  > 적대는 의견의 차이에서 시작되지 않는다. 상대를 '대화 가능한 주체'에서 '처리해야 할 대상'으로 격하시킬 때 시작된다. IT 종사자라면 이 구분이 실무적으로 중요하다. 의견 충돌은 토론과 조정의 영역이다. 악마화는 안전과 신뢰의 영역으로 넘어간다. 시스템은 후자에 대해 별도의 대응을 설계해야 한다. --- ## 집단 정체성과 타자화가 작동하는 기계 ### 최소 비용의 정체성 사회심리학의 고전적 관찰 중 하나는, 인간이 아주 미미한 기준으로도 집단을 나누고 편향을 만든다는 점이다. 이른바 '최소집단 패러다임'이다. 여기서 중요한 것은 차이의 크기가 아니라 경계의 존재다. 경계가 생기면, 내부에는 신뢰와 관대함이, 외부에는 의심과 엄격함이 배분된다. 이는 도덕의 문제가 아니다. 인지의 경제성 문제다. 세계를 빠르게 이해하기 위한 압축이 곧 편향이 된다. ### 악마화의 단계 악마화는 대체로 네 단계를 거친다. 첫째, 특정 사건이 발생한다. 범죄, 실수, 충돌 같은 개인 사건이다. 둘째, 유형화가 일어난다. 사건이 개인의 맥락에서 분리되어 집단의 '전형'으로 재해석된다. 셋째, 본질화로 나아간다. "그들은 원래 그렇다"로 귀결되며, 수정 불가능한 속성으로 고착된다. 넷째, 위협화가 완성된다. "우리의 생존과 안전, 미래를 위협한다"로 확장되며 긴급성이 부여된다. 이 네 단계가 완성되면 논박은 거의 작동하지 않는다. 논박은 사실을 다루지만, 위협화는 정체성과 안전감의 문제로 바뀌기 때문이다. 설득이 실패하는 이유는 정보량이 아니라 정체성 비용에 있다. ### 플랫폼 구조와의 결합 추천 시스템은 대개 참여를 최적화한다. 클릭, 댓글, 공유, 체류 시간이 그 지표다. 참여는 종종 분노와 결합한다. 분노는 행동을 촉진하고, 행동은 지표를 만들며, 지표는 다시 노출을 만든다. 이 루프가 반복되면 적대 콘텐츠는 '인기 있는 것'으로, 더 나아가 '중요한 것'으로 오인된다. 여기에 생성형 AI가 접속하면 문제가 한 단계 진화한다. 과거의 선동은 제작 비용이 들었다. 이제는 저비용으로 대량 생산된다. 생성물은 문장 구조가 매끈하고, 근거가 있는 듯 보이며, 반론을 선제적으로 흉내 낼 수 있다. 선동은 더 '그럴듯한 문서'로 위장한다. --- ## '적'은 외부의 대상이 아니라 내부 질서의 도구다 적의 핵심 기능은 두 가지다. 첫째, 복잡성의 제거다. 사회 문제는 다원적 원인과 상충하는 가치의 타협을 요구한다. 그러나 적을 만들면 문제는 단순해진다. 원인은 "그들"이고, 해법은 배제나 처벌, 제거로 축약된다. 여기서 중요한 것은 정확성이 아니라 심리적 안정이다. 둘째, 결속의 제공이다. 집단은 상징을 필요로 한다. 적은 가장 강력한 상징이다. 내부의 차이를 덮고, 위계와 규율을 정당화하며, 리더십의 필요를 생성한다. '외부 위협'은 내부 통제를 강화하는 가장 효율적인 명분이 된다. AI 시대의 새로운 요소는, 이 두 기능이 데이터와 모델을 통해 자동화된다는 점이다. 적대는 더 이상 특정 정치 세력의 전유물이 아니다. 주의(attention) 시장에서 높은 수익을 내는 콘텐츠 형식이 된다. 악마화는 이념이 아니라 제품이 된다. --- ## AI 시대의 혐오·선동을 구분하는 실천적 기준 도덕적 비난은 판별 기준이 되지 못한다. 실무에서 필요한 것은 언어적 신호, 논증 구조, 유통 방식, 시스템 반응을 포함한 체크리스트다. ### 언어 신호: '집단-본질-위협'의 결합을 보라 혐오와 선동은 다음 요소를 자주 동반한다. 집단 지시어의 과잉이다. "그들", "저런 것들", "전부", "항상" 같은 표현이 반복된다. 본질화 표현이 나타난다. "원래 그렇다", "피가 그렇다", "문화가 그렇다"는 식이다. 비인격화와 오염 은유가 동원된다. 벌레, 병균, 쓰레기 등 '처리 대상'의 어휘가 쓰인다. 긴급하고 종말론적인 프레이밍이 따라온다. "지금 막지 않으면 끝난다"는 식이다. 정당화된 폭력의 문턱이 낮아진다. "어쩔 수 없다", "본때를 보여야"라는 표현이 등장한다. 이 조합이 나타나면 내용의 사실 여부와 무관하게 위험도가 상승한다. 사실은 악마화의 재료로도 쓰이기 때문이다. ### 논증 구조: "데이터"가 아니라 "도약"을 찾아라 선동은 종종 통계나 사례를 제시한다. 핵심은 제시 여부가 아니라 결론으로 가는 도약이다. 사례 한두 개에서 집단 전체의 본질을 규정하는 것은 귀납의 과잉이다. 상관관계에서 의도나 음모로 점프하는 것은 인과의 날조다. 복합 원인을 단일 원인으로 압축하는 것은 설명 비용 절감의 유혹이다. 정책 논의에서 존재론적 공격으로 전환하는 것, 즉 "그들은 존재하면 안 된다"로 나아가는 것은 가장 위험한 도약이다. 반박은 "그 통계는 틀렸다"보다 "그 결론으로 가는 연결이 무엇인가"를 겨냥해야 한다. 연결이 빈약하면 그 담론은 정보가 아니라 동원이다. ### 유통 신호: 확산 방식이 말해주는 것 AI가 결합된 선동은 유통에서도 특징이 있다. 동일 문구의 변주가 여러 계정에서 반복된다. 템플릿화의 징후다. 이미지와 캡션의 조합이 규격화되어 있다. 공장형 생산의 흔적이다. 출처는 불명확하지만 공유 지시가 강하다. "퍼뜨려라", "알려라"는 식이다. 반론 링크는 배제되고 내부 순환 링크만 존재한다. 에코 챔버가 강화되는 구조다. 개별 게시물만 보면 애매할 수 있다. 네트워크 패턴을 보면 명확해진다. 콘텐츠 단위 moderation만으로는 부족하다. 행위 기반(behavioral) 탐지가 필수다. ### 생성형 AI 시대의 추가 기준: "그럴듯함"의 비용을 의심하라 생성형 모델은 문장의 유창함을 공급한다. 따라서 다음을 점검해야 한다. 검증 가능한 출처가 있는가. 원문 링크, 데이터셋, 공식 통계가 명시되어 있는지 확인한다. 반례를 다루는가. 다루지 않는다면 선동일 확률이 높다. 정책 대안이 비용을 포함하는가. 비용 없는 해법은 대개 동원 구호다. 대상을 개인으로 환원할 여지가 있는가. 집단 낙인을 벗길 통로가 있는지 살펴본다. 실무적으로 한 가지 덧붙이면, 생성 텍스트는 종종 "정교한 일반론 + 강한 결론"의 형태를 띤다. 일반론은 누구나 동의할 수 있게 만들고, 결론은 특정 집단을 향한다. 이 결합은 위험 신호다. ### 시스템 설계 관점: '표현의 자유'와 '안전' 사이의 기술적 중간지대 IT 조직이 할 수 있는 일은 검열의 과잉도, 방치도 아니다. 중간지대는 존재한다. ``` (1) 노출 최적화 목표 재설계 - engagement 단일 최적화 → harm-aware ranking(위험도 감쇠) - 분노/모욕 키워드만이 아니라 "집단-본질-위협" 구조를 특징량으로 포함 (2) 마찰(friction) 도입 - 공유 전 3초 지연, 출처 표시, 요약/원문 비교 - 동일 문구 대량 업로드에 rate limit (3) 출처·맥락 레이어 - 통계/인용은 원출처를 UI에서 강제 노출 - 반론/팩트체크의 '연결'을 같은 화면에서 제공 (4) 운영의 투명성 - 삭제보다: 도달 제한, 라벨링, 이의제기 절차 - 정책 문구를 "금지 항목"이 아니라 "금지 논리(악마화 구조)"로 설명 ``` 이 접근은 기술적이면서도 철학적이다. 시스템이 인간의 약점을 수익화하지 않도록, 목표 함수와 인터페이스를 조정하는 일이다. --- ## 결론 '적'은 인간이 세계를 단순화하고 집단을 결속시키기 위해 발명한 내부 장치다. 적대의 유혹은 사라지지 않는다. 다만 AI 시대에 위험한 것은, 그 장치가 추천과 생성 시스템에 의해 자동화되고 산업화된다는 점이다. 혐오와 선동은 더 자주, 더 빨리, 더 그럴듯하게 유통된다. 개인은 그것을 자신의 판단으로 착각하기 쉽다. "누가 나쁜가"를 끝없이 심판하기보다, 혐오와 선동이 성립하는 언어와 구조, 유통을 판별해야 한다. 그것이 증폭되지 않도록 시스템의 목표와 마찰을 설계해야 한다. 적을 만드는 충동은 인간의 일부일지 모른다. 그러나 적대를 확산시키는 기계는 인간의 선택이다. 그 선택의 품격이 곧 기술 문명의 윤곽을 결정한다.