다수를 위한 계산, 알고리즘은 그렇게 소수를 지운다

# 계산하는 공리주의자 — 알고리즘은 왜 다수의 산술 앞에 소수를 지우는가 의사결정을 자동화하는 알고리즘은 윤리적으로 중립적인 도구가 아니다. 특정한 도덕철학의 화신이다. 의료의 위험도 판정, 사법의 재범 예측, 기업의 채용 심사에 들어앉은 이 체계들은 같은 문법을 쓴다. 가능한 결과들을 하나의 척도로 환산하고, 그 총합을 키우는 선택을 최선으로 본다. 제러미 벤담이 18세기에 내놓은 쾌락계산(felicific calculus)의 구조가 바로 이것이다. 알고리즘은 계산하는 공리주의자다. 이 닮음은 비유가 아니라 설계 원리의 문제다. 기계학습을 떠받치는 보상 함수와 효용 함수는 모든 행위의 가치를 하나의 수치로 압축하고, 그 기댓값을 최대화하도록 체계를 훈련시킨다. 행복을 양으로 환원해 합산하려던 공리주의의 야망은 효용을 스칼라 값으로 정의해 합산하는 현대의 최적화에서 가장 충실하게 구현됐다. 단일 척도가 모든 선택을 비교 가능하게 만들어 준다는 편의 때문에, 알고리즘은 다른 윤리를 고를 여지 없이 공리주의 모델로 수렴한다. 문제는 이 편의가 감추는 대가다. 효용의 총합만 보는 시선은 그 총합을 이루는 분포에 무관심하다. 다수의 큰 이익이 소수의 손실을 산술적으로 상쇄하는 한, 손실은 합계 안에서 지워진다. 손실은 사라지지 않지만 장부에는 보이지 않는다. 아래에서는 이 소거가 어떻게 일어나는지, 공정성의 수학적 한계가 무엇을 드러내는지, 그 한계 너머에서 정의를 어떻게 끌어올 수 있는지를 본다. ## 효용의 합산이 소수를 지우는 방식 공리주의적 합산에는 구조적 맹점이 둘 있다. 하나는 상호보상의 논리다. 효용을 합산한다는 것은 한 집단의 이익과 다른 집단의 손해를 같은 단위로 더하고 뺄 수 있다고 전제하는 일이다. 이 전제 위에서 다수의 편익이 충분히 크면 특정 소수가 떠안는 피해는 정당한 비용으로 묵인된다. 다른 하나는 데이터의 미시성이다. 알고리즘이 합산하는 효용은 데이터에 기록된 효용뿐이다. 데이터에서 충분히 대표되지 못한 집단은 계산의 무대에 오르지도 못한 채 삭제된다. 통계적으로 미미한 존재는 무시해도 좋은 잔차로 처리된다. 다수결의 폭정이라는 오래된 비판이 표본 구성이라는 새 형태로 돌아온 셈이다. 추상적인 이야기는 사례에서 분명해진다. 오버마이어 등의 2019년 연구가 분석한 의료 위험도 알고리즘이 그렇다. 이 체계는 환자의 건강 요구를 직접 재는 대신, 재기 쉬운 대용변수로 의료비 지출액을 골랐다. 더 아픈 사람이 더 많은 비용을 쓴다는 가정은 그럴듯하다. 그러나 역사적 불평등 탓에 같은 병을 앓고도 의료에 접근하지 못한 흑인 환자군은 지출액이 낮았고, 알고리즘은 이들을 덜 아픈 쪽으로 판정했다. 결국 같은 위험 점수를 받은 흑인 환자가 백인 환자보다 만성질환을 더 많이 가진 역전이 생겼다. 대용변수의 왜곡이 구조적 차별을 정확도라는 외피로 위장한 것이다. 채용에서도 같은 일이 벌어졌다. 한 대형 기술기업이 2014년부터 굴린 채용 알고리즘은 지난 10년간 쌓인 이력서를 학습했다. 그 기간의 합격자가 압도적으로 남성이었으니, 알고리즘은 남성성을 우수함의 신호로 새겼다. 여성 관련 표현이 담긴 이력서는 체계적으로 감점됐다. 과거의 차별이 미래의 기준으로 굳는 자기강화 회로다. 알고리즘이 새 편견을 만든 게 아니다. 사회가 이미 저질러 온 편견을 수학적 권위로 세탁해 영속화했을 뿐이다. 세 사례가 가리키는 것은 하나다. 수학적 중립이라는 환상 아래에서 역사적이고 구조적인 차별이 효용 극대화의 연료로 재활용된다. 알고리즘의 객관성은 차별을 없애는 게 아니라 차별의 책임 소재를 흐린다. ## 공정한 알고리즘은 존재하지 않는다 편향을 발견한 이들은 알고리즘을 공정하게 고치려 했다. 그런데 여기서 더 근본적인 벽이 나타난다. 공정성이라는 단어가 하나의 뜻을 갖지 않는다는 것이다. 공정성은 적어도 세 갈래다. 인구통계적 동등성은 집단과 무관하게 기회가 균등하게 분배되기를 요구한다. 균등화된 오즈는 오류율이 집단 간에 같기를 요구한다. 보정은 예측 점수가 집단과 무관하게 같은 실제 확률을 의미하기를 요구한다. 각각은 직관적으로 정당하다. 그러나 셋은 서로를 배반한다. 2016~2017년 숄데초바와 클라인버그 등이 증명한 불가능성 정리가 이 배반을 형식적으로 입증했다. 집단 간 기저율, 곧 실제 결과의 발생 비율이 다를 때 이 지표들을 동시에 완벽히 만족시키는 것은 수학적으로 불가능하다. 하나를 채우면 다른 하나가 반드시 무너진다. 알고리즘이 미숙해서가 아니라 통계적 구조 자체에 새겨진 한계다. 콤파스(COMPAS) 사법 알고리즘 논쟁이 이 정리의 현실판이다. 한 탐사보도는 이 재범 예측 체계의 위양성률, 곧 재범하지 않을 사람을 위험하다고 잘못 분류하는 비율이 흑인 피고에게서 백인 피고의 약 두 배라고 고발했다. 제공사는 보정 기준에서는 자사 체계가 인종 간 동등하다고 반박했다. 두 주장이 다 옳았다. 불가능성 정리가 예고한 대로, 한쪽 공정성을 채운 체계는 다른 쪽 공정성을 어길 수밖에 없었다. 여기서 핵심이 나온다. 어떤 공정성을 우선할지는 더 정교한 계산으로 풀 문제가 아니다. 기회의 평등을 중시할지 예측의 정확성을 중시할지는 가치의 우선순위에 관한 판단이고, 결국 정치적 타협의 영역이다. 설계자가 손실 함수의 한 항에 가중치를 주는 순간, 그는 수학을 하는 게 아니라 정의에 관한 입장을 고르고 있다. 다만 그 선택이 코드의 외피를 쓰고 있어 정치적 성격이 가려질 뿐이다. ## 정의를 제약으로 이식하기 공리주의의 산술이 가진 한계가 분명하다면 대안은 효용의 합산 바깥에서 찾아야 한다. 세 갈래의 철학이 방향을 제시한다. 칸트의 의무론은 가장 단호하게 제동을 건다. 인간은 결코 한낱 수단으로 다뤄져서는 안 되며 언제나 목적으로 대우받아야 한다는 정언명령은, 인간을 클릭률 최적화의 변수나 정보 수집의 도구로 환원하는 설계를 절대적으로 금한다. 총합이 아무리 커도 한 인간의 존엄을 비용으로 계상하는 일은 허용되지 않는다. 효용 계산에 앞서는 제약 조건이다. 존 롤스의 정의론은 이 제약을 실행 가능한 원리로 옮긴다. 자신이 사회의 어느 위치에 놓일지 모르는 무지의 베일 뒤에서라면, 합리적 인간은 총효용의 극대화가 아니라 최소 수혜자의 처지를 가장 먼저 개선하는 원칙에 합의하리라는 것이 차등 원칙이다. 이 원리는 알고리즘 설계에 바로 이식할 수 있다. 전체 효용의 합을 최대화하는 대신, 가장 취약한 집단이 떠안는 오류율이나 피해를 최소화하는 것을 절대적 제약으로 두는 방식이다. 합산의 논리를 보호의 논리로 바꾸는 이 발상이 소수를 지우던 회로를 끊는다. 그러나 단일한 원리로는 부족하다. 효용 극대화를 직접 좇기보다 투명성과 설명가능성 같은 상식적 규칙을 지킴으로써 간접적으로 좋은 결과에 이르려는 규칙 공리주의의 통찰이 여기에 보탬이 된다. 대표적인 통합 시도로 선행과 악행 금지, 자율성, 정의, 설명가능성의 다섯 원칙을 설계 첫 단계부터 강제하려는 흐름이 있다. 가치를 사후에 검사하는 게 아니라 설계의 전제로 끌어들이는 접근이다. 윤리를 외부 감사가 아니라 내부 구조로 삼는 것이다. ## 알고리즘에 마찰을 남겨두라 알고리즘 거버넌스의 종착지는 완벽한 보상 함수가 아니다. 불가능성 정리가 말하듯 모든 가치를 동시에 만족시키는 함수는 없다. 과제는 충돌하는 가치들 중 무엇을 우선할지 정하는 일이고, 그 결정은 기술자의 책상이 아니라 사회적 토론의 장에서 내려져야 한다. 제도는 이 방향으로 더디게 움직인다. 한국이 2020년에 마련한 인공지능 윤리기준은 선언에 머물렀고, 2024년 제정돼 2026년 시행을 앞둔 인공지능 기본법은 규제적 실천의 과제를 본격적으로 꺼낸다. 다만 법의 조문보다 중요한 것은 그 법이 지키려는 원리다. 그 원리는 마찰의 복원이다. 알고리즘이 약속하는 극단적 효율과 매끄러움은 그 자체로 의심받아야 한다. 민주주의는 본래 마찰과 갈등을 조율하는 더딘 절차이지 최적해를 즉시 뽑아내는 계산이 아니다. 알고리즘의 결정에 이의를 제기할 권리, 인간이 최종적으로 개입하고 승인하는 단계는 효율의 눈으로 보면 군더더기다. 그러나 그 군더더기가 인간을 수단으로 환원하지 못하게 막는 안전장치다. 계산하는 공리주의자는 자신이 무엇을 지우는지 묻지 않는다. 그 물음을 대신 던지고, 지워진 것을 다시 계산의 무대로 불러오는 일은 끝내 인간의 몫이다.