점수가 판사석에 앉던 날
은행 창구에서 대출을 거절당한 사람은 이유를 묻는다. 돌아오는 답은 대개 하나다. "심사 결과입니다." 과거에는 그 심사 뒤에 사람이 있었다. 지점장의 편견, 담당자의 기분, 그날의 실적 압박이 결정을 좌우했고, 우리는 그 자의성을 불신했다. 그래서 사람을 치우고 점수를 앉혔다. 신용 점수, 채용 적합도 점수, 재범 위험 점수. 숫자는 누구에게나 같은 잣대를 들이대므로 공정하고, 수천 건을 즉시 처리하므로 효율적이라는 약속과 함께였다.
이상한 일은 그다음에 벌어졌다. 개인의 자의성을 제거했더니 집단 단위의 체계적 불이익이 나타난 것이다. 미국의 재범 예측 시스템은 흑인 피고인을 백인보다 훨씬 자주 '고위험'으로 잘못 분류했고, 의료 자원 배분 알고리즘은 더 아픈 흑인 환자를 덜 아픈 백인 환자보다 뒤로 밀어냈다. 편견을 가진 사람은 어디에도 없는데, 결과는 편견이 내린 판결과 닮아 있었다.
데이터가 오염됐다거나 모델에 버그가 있다는 기술적 진단이 흔히 따라붙는다. 그러나 사태는 다른 층위에 있다. 위험 점수와 손실함수는 19세기 공리주의의 한 조각, 그중에서도 가장 조잡한 조각을 코드로 고정한 것이고, 편향은 그 조각이 홀로 작동할 때 드리우는 그림자다.
알고리즘 안의 조잡한 공리주의
공리주의는 제러미 벤담이 정식화한 윤리 이론으로, 행위의 옳고 그름을 그 행위가 산출하는 행복과 고통의 총량으로 판정한다. "최대 다수의 최대 행복"이라는 표어가 그 요체다. 벤담은 쾌락을 강도와 지속성 따위의 차원으로 분해해 계산할 수 있다고 믿었다. 도덕을 산수로 만들겠다는 이 야심은 당대에는 급진적 개혁 사상이었다. 귀족의 혈통이나 성직자의 권위가 아니라 모든 사람의 행복을 하나씩 동등하게 세겠다는 선언이었기 때문이다.
기계학습 시스템은 이 야심과 구조가 같다. 모델은 손실함수라는 단일 지표를 정의하고, 전체 데이터에 대해 그 값을 최소화하는 방향으로 자신을 조정한다. 예측 오류의 총합을 줄이는 것, 곧 집계된 비용을 최소화하고 집계된 정확도를 극대화하는 것이 유일한 목표다. 재범 위험 점수는 사회 전체의 안전이라는 효용을, 의료 배분 알고리즘은 한정된 자원의 효율이라는 효용을 계산한다. 개별 사례의 사정은 총량 앞에서 소거된다. 은유가 아니다. 행위 하나하나의 결과를 집계해 최적을 고르는 행위 공리주의의 계산 절차가 문자 그대로 구현된 것이다.
문제는 무엇이 구현되고 무엇이 누락됐는가다. 공리주의 전통은 벤담에서 멈추지 않았다. 존 스튜어트 밀은 쾌락에 질적 위계가 있음을 주장해 단순 합산에 제동을 걸었고, 20세기의 리처드 헤어와 브래드 후커는 효용 계산을 언제 해도 되고 언제 하면 안 되는지에 관한 정교한 체계를 세웠다. 그러나 손실함수에 번역된 것은 이 전통 전체가 아니라 벤담의 산수, 그것도 질과 규칙과 반성이 모두 제거된 골격뿐이다. 자동화된 것은 공리주의가 아니라 공리주의의 가장 얇은 단면이다.
세 개의 사례, 하나의 메커니즘
재범 예측 도구 COMPAS가 대표적이다. 탐사보도 기관 프로퍼블리카의 분석에 따르면, 실제로 재범하지 않은 사람이 고위험으로 잘못 분류된 비율이 흑인은 약 45%, 백인은 약 23%였다. 개발사는 점수의 예측 정확도가 인종 간에 동등하다고 반박했는데, 양쪽 주장은 모두 참이었다. 통계학자 알렉산드라 슐데코바가 증명했듯, 두 집단의 기저 재범률이 다르면 예측 정확도의 평등과 오분류율의 평등을 동시에 만족하는 분류기는 수학적으로 존재할 수 없다. 어떤 공정을 취하면 다른 공정을 반드시 잃는다.
의료 배분 알고리즘도 같은 길을 걸었다. 지아드 오버마이어 연구진이 2019년 사이언스에 보고한 사례에서, 알고리즘은 환자의 '건강 필요'를 직접 잴 수 없어 '과거 의료비 지출'을 대리 지표로 삼았다. 그런데 미국의 흑인 환자는 같은 질병 부담에서도 의료 접근성의 격차 탓에 지출이 적었다. 알고리즘은 이 격차를 충실히 학습해 더 아픈 흑인 환자를 저위험으로 판정했다. 대리 지표를 교정하자 집중 관리 대상에 등록되는 흑인 환자 비율이 17.7%포인트가량 늘었다. 모델은 한 순간도 오작동하지 않았다. 역사적 불평등이 새겨진 지표를 최적으로 예측했을 뿐이다.
얼굴 인식에서도 사정은 다르지 않았다. 조이 부올람위니의 젠더 셰이즈 연구는 상용 얼굴 분석 시스템이 피부색이 밝은 남성에게는 약 0.8%의 오류율을, 피부색이 어두운 여성에게는 최대 34.7%의 오류율을 보임을 밝혔다. 전체 평균 정확도는 훌륭했다. 그러나 평균은 총량의 언어이고, 34.7%의 오류를 감당하는 이들에게 평균은 아무런 위로가 되지 않는다.
영역은 다르지만 반복되는 문장은 하나다. 시스템은 효용의 총량을 올렸다고 믿지만, 그 효용의 단위와 대리 지표에 이미 불평등이 새겨져 있다. 편향은 계산의 실수가 아니라 계산의 성공에서 나온다.
계산되지 않는 것들의 반격
공리주의의 오랜 비판자들은 이 사태를 예견한 셈이다. 칸트의 전통은 인간을 총량 계산의 재료로, 곧 수단으로만 취급해서는 안 된다고 못 박았다. 존 롤스는 사회 전체의 이익이 최소 수혜자의 희생을 정당화할 수 없다고 논증했다. 버나드 윌리엄스는 총량의 명령이 개인의 도덕적 통합성을 짓밟는 순간을 지목했다. 이 비판들의 공통 핵심은 의무론의 승리 선언이 아니라, 하나의 지표가 도덕 전체를 대신할 수 없다는 것이다.
불가능성 정리는 이 철학적 통찰에 수학의 옷을 입힌다. 여러 공정성 정의를 동시에 가질 수 없다면, 어느 하나를 고르는 행위는 기술적 선택이 아니라 가치의 선택이다. 오분류의 고통과 예측의 정확 중 무엇을 우선할 것인가는 방정식이 답할 수 없는 물음이다. 그런데 이 선택을 명시하지 않은 채 "정확도를 최적화하라"고만 지시하면, 승자는 언제나 기존의 기저율, 곧 축적된 역사다. 침묵 속의 최적화는 중립이 아니라 현상 유지에 대한 투표다.
그렇다면 공리주의를 폐기해야 하는가. 정작 쓸 만한 응답은 공리주의 내부에서 나온다. 리처드 헤어는 도덕적 사고를 두 층으로 나눴다. 일상의 결정은 검증된 일반 규칙을 빠르게 적용하는 직관 층에서 이루어지고, 규칙끼리 충돌하거나 예외가 발생하면 효용을 근본에서 따지는 비판 층이 개입한다. 브래드 후커의 규칙 결과주의는 여기에 덧붙여, 개별 행위가 아니라 사회가 채택할 규칙의 체계를 효용으로 평가하라고 제안한다. 효용은 최종 기준일 수는 있어도 매 순간의 즉각 기준이어서는 안 된다는 것이다.
이 구도를 알고리즘 시스템에 포개면 세 개의 층이 그려진다. 규칙의 층에서는 학습과 배포에 앞서 "역사적 불평등을 실어 나르는 대리 지표를 목표 변수로 쓰지 않는다", "삶을 좌우하는 결정을 자동 판정 단독에 맡기지 않는다" 같은 메타 규칙을 세운다. 비판의 층에서는 알고리즘을 학습된 규칙을 빠르게 적용하는 직관 층의 역할에 묶어 두고, 예외와 권리 충돌과 맥락의 판단은 인간과 제도의 몫으로 남긴다. 전지적 계산자를 모델 안에 구현하려는 시도보다, 유한한 계산기 위에 감독을 설계하는 편이 헤어의 통찰에 충실하다. 공개와 감사의 층에서는 영향 평가와 외부 감사, 설명 의무가 앞의 두 층을 사후적으로 지탱한다. 2026년 시행된 한국의 인공지능 기본법이 고영향 인공지능에 영향 평가 의무를 부과한 것도, 표현은 다르나 이 세 번째 층을 제도화하려는 시도로 읽을 수 있다.
계산기 밖의 일
알고리즘 편향은 기술 결함인가, 윤리 공식의 귀결인가. 그것은 규칙의 층도 비판의 층도 없이 집계 효용의 계산만을 자동화했을 때, 역사에 새겨진 불평등이 '합리적 최적'의 얼굴로 되돌아오는 구조적 그림자다. 편향과의 싸움이 더 정교한 효용 함수를 찾는 공학의 문제로 환원되지 않는 이유다. 그것은 효용 계산을 어디에 가두고, 무엇을 규칙과 권리와 반성의 몫으로 남겨 둘 것인가를 정하는 윤리와 제도의 문제다. 벤담의 산수를 버릴 필요는 없다. 다만 그 산수가 홀로 판사석에 앉게 두어서는 안 된다.
최대 다수의 행복은 계산될 수 있다. 그러나 그 계산이 누구의 불행을 소수점 아래로 밀어 넣는지는, 언제나 계산기 밖의 일이다.