코드가 된 벤담의 계산기, 알고리즘 편향은 어디서 오는가

# 벤담의 계산기가 코드가 될 때: 공리주의와 알고리즘 편향 ## 계산은 정확했는데, 결과는 부당했다 은행 창구에서 대출을 거절당한 사람은 이유를 묻는다. 상대가 사람이라면 서툴게나마 답이 돌아온다. 심사가 기계의 몫이 된 지금은 답이 하나뿐이다. 시스템이 그렇게 판단했다는 것. 채용 서류가 서면 심사도 받지 못한 채 탈락하고, 보험료가 이웃보다 높게 책정되고, 병원의 관리 프로그램 명단에서 이름이 빠진다. 어디에도 악의를 가진 사람은 없는데, 결과는 특정한 사람들에게만 반복해서 가혹하다. 흔히 이것을 기술적 결함으로 이해한다. 데이터가 오염됐거나 검증이 부족했다는 식이다. 편리한 설명이지만 본질을 비껴간다. 결함이라면 고치면 그만이다. 그런데 알고리즘의 차별은 고쳐도 다시 나타나고, 한 지표를 바로잡으면 다른 지표가 어긋난다. 시스템 깊은 곳에 차별을 산출하는 원리가 내장된 것처럼 움직인다. 실제로 그렇다. 그 원리의 이름은 뜻밖에도 18세기 철학에서 발견된다. 제러미 벤담의 공리주의, '최대 다수의 최대 행복'을 도덕의 유일한 척도로 삼는 사상이다. 벤담은 쾌락과 고통을 수량화해 합산할 수 있다고 믿었고, 옳은 행위란 그 총합을 최대화하는 행위라고 정의했다. 현대의 알고리즘은 이 계산기를 코드로 옮긴 기계이고, 알고리즘 편향은 그 계산의 그림자다.  ## 목적함수라는 이름의 쾌락 계산 기계학습 시스템은 목적함수, 곧 최대화하거나 최소화해야 할 단일한 수치를 중심으로 설계된다. 추천 시스템은 클릭률을 올리고, 채용 시스템은 예측 정확도를 올리고, 의료 자원 배분 시스템은 비용 효율을 올린다. 개별 사용자가 누구인지는 중요하지 않다. 전체 집단에 대한 평균 성능이 오르면 시스템은 개선된 것으로 간주된다. 벤담의 쾌락 계산과 형식이 같다. 개인들의 효용을 하나의 저울에 올려 합산하고, 총량을 늘리는 방향으로 판단한다. 사용자의 선호 충족을 목표로 삼는 시스템이라면 선호 공리주의의 기계적 구현이다. 평균의 논리는 맹점을 만든다. 전체의 95퍼센트에서 성능을 끌어올리는 가장 효율적인 길이, 나머지 5퍼센트의 오류를 방치하는 것일 수 있다. 다수 집단의 데이터가 풍부하고 소수 집단의 데이터가 빈약하면, 전체 정확도를 최적화하는 모델은 다수에 맞춰 조율되고 소수의 오류는 통계의 소음으로 처리된다. 편향은 데이터 수집과 라벨링, 학습, 평가, 배포의 각 단계에서 스며들고, 배포된 모델의 예측이 다시 새 학습 데이터를 만드는 피드백 루프를 타고 갈수록 굳어진다. 가장 까다로운 건 프록시(proxy)다. 측정하고 싶은 것을 직접 잴 수 없을 때 시스템은 측정 가능한 대리 지표를 쓴다. 의료의 필요를 재기 어려우니 의료비 지출로 대신하고, 업무 역량을 재기 어려우니 과거 합격자와의 유사성으로 대신한다. 대리 지표에는 사회의 기존 불평등이 각인되어 있다. 공리주의 계산기는 그 각인을 성실하게 학습하고, 성실하게 재생산한다. ## 숫자가 말하는 것 미국 법원이 재범 위험 평가에 쓴 COMPAS 시스템을 프로퍼블리카가 분석했더니, 실제로 재범하지 않은 흑인 피고인이 고위험으로 잘못 분류된 비율은 44.85퍼센트였다. 같은 조건의 백인 피고인은 23.45퍼센트. 개발사 노스포인트는 위험 점수가 인종과 무관하게 동일한 재범률을 예측한다는 캘리브레이션 지표를 들어 반박했다. 양쪽 다 수학적으로 틀리지 않았다는 점이 이 논쟁의 진짜 문제인데, 그 이유는 잠시 뒤에 나온다. 아마존이 개발하던 채용 알고리즘은 10년치 이력서, 남성이 압도적으로 많았던 과거의 채용 기록을 학습했다. 시스템은 여자대학 출신이거나 여성 관련 단어가 포함된 이력서에 감점을 주는 규칙을 스스로 도출했다. 누구도 성차별을 지시하지 않았다. 과거를 충실히 최적화한 결과가 차별이었을 뿐이다. 의료 쪽 사례는 프록시 문제의 전형이다. 2019년 오버마이어 연구진이 분석한 미국의 의료 자원 배분 알고리즘은 환자의 의료 필요도를 의료비 지출로 대리 측정했다. 흑인 환자는 구조적 요인 때문에 같은 병세에도 의료비를 덜 지출해 왔고, 그 결과 동일한 위험 점수를 받은 흑인 환자가 백인 환자보다 만성질환을 평균 두 개 더 앓고 있었는데도 추가 관리 대상에서 빠졌다. 프록시를 교정하자 배분의 불평등이 86퍼센트 줄었다. 문제가 어디 있었는지를 이보다 정확히 가리키는 숫자는 없다. 부올람위니와 게브루의 Gender Shades 연구는 상용 안면인식 시스템에서 밝은 피부 남성의 오류율 0.3퍼센트, 어두운 피부 여성의 오류율 34.7퍼센트를 확인했다. 전체 평균이라는 단일 수치 아래 백 배가 넘는 격차가 숨어 있었다. 평균은 이런 격차를 드러내지 않는다. 오히려 가린다.  ## 불가능성의 증명, 그리고 인격의 분리성 편향이 결국 데이터와 지표의 문제라면, 더 나은 데이터와 더 정교한 공정성 지표로 해결하면 되지 않을까. 이 낙관을 수학이 먼저 꺾었다. 클라인버그 연구진이 2016년에 증명한 공정성 불가능성 정리에 따르면, 두 집단의 기저율(집단별 실제 발생 비율)이 다를 때 캘리브레이션, 거짓양성률 균형, 거짓음성률 균형이라는 세 조건을 동시에 만족하는 것은 수학적으로 불가능하다. COMPAS 논쟁에서 노스포인트와 프로퍼블리카가 각자 다른 지표를 들어 서로 옳았던 이유가 여기 있다. 둘은 동시에 성립할 수 없는 두 개의 공정성을 각각 옹호하고 있었다. 어느 쪽을 취하고 어느 쪽을 포기할지는 수식이 답하지 못한다. 철학은 이 한계를 예견했다. 존 롤스는 공리주의가 인격의 분리성을 무시한다고 비판했다. 한 개인 안에서라면 오늘의 고통을 감수하고 내일의 이익을 취하는 교환이 정당하다. 그러나 사회는 하나의 인격이 아니다. 갑의 손실을 을의 이익으로 상쇄하는 계산은 서로 다른 삶을 사는 별개의 인격들을 하나의 거대한 효용 저장고로 취급한다. 알고리즘 편향은 이 오류의 기계적 재연이다. 전체 정확도라는 총합 속에서 소수 집단의 오분류는 다수 집단의 정확한 판정으로 상쇄된다. 잘못 구금된 피고인에게, 서류에서 지워진 지원자에게, 명단에서 빠진 환자에게 그 상쇄는 아무 위로가 되지 않는다. 손해는 각자의 삶에서 발생하고, 이익은 통계 속에서만 존재한다. 그렇다면 알고리즘 편향은 기술의 미성숙이 아니라 특정 윤리 이론을 채택한 데 따르는 구조적 귀결이고, 교정에 필요한 것은 코드 수선이 아니라 윤리의 교체 내지 보완이다. ## 공리주의 너머의 저울들 윤리학에는 다른 저울들이 있다. 칸트의 의무론은 인간을 결코 수단으로만 대우하지 말라고 명한다. 알고리즘에 적용하면, 개인은 전체 효용을 위한 통계적 재료가 아니라 판단의 근거를 요구하고 이의를 제기할 수 있는 존재여야 하고, 결과의 총량 못지않게 절차의 정당성이 심사되어야 한다. 롤스의 정의론은 더 구체적인 설계 지침을 준다. 자신이 어느 집단에 속할지 모르는 무지의 베일 뒤에서 규칙을 정한다면, 평균을 최대화하는 규칙이 아니라 가장 불리한 처지의 사람이 입을 피해를 최소화하는 규칙을 고를 것이다. 최소수혜자의 관점을 최적화 기준에 반영하는 설계는 이 직관의 공학적 번역이다. 아리스토텔레스의 덕윤리는 규칙 이전에 시스템을 만들고 운영하는 사람들의 실천적 지혜를 묻는다. 센과 누스바움의 능력 접근은 시스템이 인간의 실질적 자유를 넓히는지 좁히는지를 최종 심급으로 삼는다. 제도도 움직이기 시작했다. 2024년 발효된 EU 인공지능법은 위험 수준에 따라 규제를 차등화하고 고위험 시스템에 기본권 영향평가를 요구한다. 한국의 인공지능 기본법은 2026년 1월 시행되어 고영향 인공지능에 대한 규율 체계를 갖췄다. 집단 간 오류율을 맞추는 공정성 기법, 판단 근거를 드러내는 설명가능성 도구, 뉴욕시의 채용 알고리즘 감사 의무화 같은 독립 감사 제도도 쌓이고 있다. 다만 이 장치들은 트레이드오프를 없애는 것이 아니라 트레이드오프에 대한 사회의 선택을 집행하는 수단이다. 어떤 공정성 지표를 법이 요구할 것인가부터가 이미 윤리적 결단이다. ## 결단의 영역 남는 물음은 기술적 물음이 아니다. 서로 충돌하는 공정성들 가운데 무엇을 택할 것인가. 평균의 이익과 최약자의 권리 가운데 무엇을 앞세울 것인가. 공동체가 감당해야 할 정치적이고 윤리적인 결단의 물음이다. 벤담의 계산기는 이제 코드가 되어 판결하고 선발하고 배분한다. 계산기가 아무리 정교해져도 무엇을 계산할 가치가 있는지는 계산으로 정해지지 않는다. 알고리즘의 편향을 고치는 일은 수식을 고치는 일이 아니라, 그 수식이 섬길 가치의 서열을 정하는 일이다.