에이전트형 AI 시대의 디지털 신뢰 인프라: 개발자가 설계해야 할 서명·증명·관측의 3층 구조

# 에이전트형 AI 시대, 개발자를 위한 디지털 신뢰 인프라 설계 전략  ## 신뢰가 깨지는 순간 에이전트형 AI는 생산성을 끌어올리지만, 동시에 신뢰의 비용을 폭발시킨다. 속도라는 선물의 대가로 "누가 이 변경을 만들었는가"가 흐려진다. 이 불명확함은 실제 취약점보다 먼저 시스템을 약화시킨다. 한 번은 PR을 검토하다가 멈칫한 적이 있다. 코드는 그럴듯했고 테스트도 통과했다. 다만 배포 스크립트에 평소 없던 외부 호출이 한 줄 섞여 있었다. 리뷰어 눈에는 사소한 최적화로 보일 법한 변경이었다. 사고는 대개 이렇게 시작된다. 거대한 침투가 아니라 작은 변경이 정상 절차를 통과하고, 그것을 누가 만들었는지, 무엇을 근거로 승인했는지가 남지 않는다. 에이전트가 개입하는 순간, 이 빈틈은 더 자주 열린다. 이제 신뢰는 기본값이 아니라 설계 대상이다. ## 위협 모델의 변화: 침투에서 대리 실행으로  기존 보안은 사람이 코드를 쓰고 사람이 리뷰한다는 전제에 기반했다. 자동화가 있었지만 대부분 규칙 기반이었고, 행동의 폭이 제한적이었으며 책임의 경계도 비교적 뚜렷했다. 에이전트형 AI는 다르다. 코드 작성에 그치지 않고 패치 제안, 의존성 갱신을 수행한다. 때로는 배포 스크립트, 인프라 변경, 권한 설정까지 건드린다. 위협 모델이 "침투"에서 "대리 실행(agency)"으로 확장되는 것이다. 보안의 질문도 바뀐다. "외부에서 들어왔는가"만으로는 부족하다. "정상 절차를 통과한 변경이 무엇에 의해 만들어졌는가"를 물어야 한다. 개발 조직이 익숙하던 경계—사람 계정, 서버, 네트워크—가 더 이상 신뢰의 중심이 아니다. 에이전트형 AI를 도입하면서도 신뢰 모델을 예전 그대로 두는 경우가 많다. 결과는 예측 가능하다. 자동화는 속도를 주지만, 검증 없이는 재앙도 빠르다. 속도를 얻는 대신, 신뢰를 설계해야 한다. **자가진단: 신뢰의 주체** - CI가 신뢰하는 주체는 누구인가. 사람인가, 토큰인가, 모델인가 - CI 토큰에 만료 기한과 최소 범위(scope)가 설정돼 있는가 - 승인은 계정 로그인만으로 충분한가, 아니면 증거가 남는가 ## 디지털 신뢰 인프라의 3층 구조 보안 도구를 몇 개 붙여도 신뢰의 본체가 만들어지지는 않는다. 신뢰는 문서가 아니라 검증 가능한 증거 체인으로 존재해야 한다. 이를 세 층으로 나눠 살펴본다. ### 코드 신뢰: 누가 무엇을 썼는가 에이전트가 코드를 만들면 작성자는 더 이상 단일하지 않다. 커밋 작성자와 아이디어의 원천, 실제 실행 주체가 분리된다. 따라서 정성적 리뷰만으로는 코드 신뢰를 유지할 수 없다.  핵심은 서명과 provenance다. 서명은 "이 변경을 내가 승인했다"는 의사 표시이고, provenance는 "이 변경이 어떤 경로로 만들어졌는가"라는 이력이다. 코드 변경에도 영수증이 필요하다는 뜻이다.  구현은 보통 다음 순서로 진행된다. Git 커밋과 태그에 서명을 붙이고, PR 머지 규칙에 서명 검증을 포함한다. CI가 생성한 산출물에도 attestation을 남긴다. attestation은 바이너리가 어떤 소스와 어떤 환경에서 만들어졌는지에 대한 증명서다. 서명과 검증은 마찰을 만든다. 키 관리가 번거롭고 예외 처리도 필요하다. 하지만 이 마찰은 비용이 아니라 경계다. 경계가 없으면 속도는 곧 혼란이 된다. **자가진단: 변경의 영수증** - 머지된 커밋은 서명 검증을 통과하는가 - 릴리스 산출물에 attestation이 붙는가 - "누가 승인했는가"가 아니라 "무엇으로 증명되는가"가 남는가 ### 공급망 신뢰: 무엇이 섞였는가 오늘날 소프트웨어는 대부분 조립품이다. 직접 작성한 코드보다 의존성과 빌드 도구가 더 큰 비중을 차지한다. 에이전트는 의존성 업데이트를 자주 제안하고, 그 속도는 인간을 압도한다. 공급망 신뢰의 핵심은 SBOM(소프트웨어 구성표)과 재현 가능한 빌드다. SBOM은 무엇이 들어갔는지의 목록이고, 재현 가능한 빌드는 같은 소스라면 같은 산출물이 나오는 성질이다. 둘이 합쳐지면 바이너리에 무엇이 섞였는지를 사후에 추적할 수 있다. 실무에서는 다음 패턴이 견고하다. 의존성 버전을 고정하고 업데이트는 PR 단위로 추적한다. SBOM을 빌드 파이프라인에서 자동 생성해 아티팩트로 보관한다. 빌드 환경을 고정하고 재현성을 높인다. 중요한 의존성은 소스 검증이나 공급자 신뢰도를 기준으로 등급화한다. 내가 선호하는 방식은 "핵심 경로는 보수적으로, 주변은 공격적으로"다. 모든 것을 동일한 규칙으로 통제하려 하면 결국 규칙이 무너진다. **자가진단: 의존성의 통제** - 의존성 업데이트는 누가 승인하는가 - SBOM이 릴리스마다 남고 검색 가능한가 - 빌드 환경은 사람마다 다른가, 파이프라인으로 고정되는가 ### 실행 신뢰: 무엇이 실제로 실행됐는가 코드와 공급망이 깨끗해도 실행 단계에서 무너질 수 있다. 에이전트가 배포와 운영에 관여하면 런타임이 공격 표면이 된다. "배포는 성공했다"는 말은 "정상 실행 중이다"와 다르다. 실행 신뢰는 정책, 격리, 관측의 결합이다. 정책은 허용 가능한 행동을 코드로 고정하는 방식이다. 격리는 권한과 네트워크 경계를 좁히는 기술적 장치다. 관측은 로그, 메트릭, 트레이스를 통해 실행 사실을 증거로 남긴다. 런타임에서 최소한 다음을 요구한다. 최소권한 원칙을 기본값으로 두고, 배포 토큰과 실행 토큰을 분리한다. 아웃바운드 네트워크는 필요 기반으로 열고 기본은 닫는다. 정상 시나리오의 관측 지표를 먼저 정의한다. 이상 탐지는 비교 대상이 있어야 한다. 권한을 줄이면 처음엔 배포가 자주 막히고, 로그를 늘리면 비용과 소음이 증가한다. 그러나 이 불편이 없다면 문제는 조용히 진행된다. 조용한 실패는 나중에 더 큰 비용으로 돌아온다. **자가진단: 런타임의 증거** - 배포 후 실제 실행된 바이너리의 해시를 추적하는가 - 아웃바운드 트래픽의 기준선이 있는가 - 차단이 아니라 증거 남기기가 먼저 설계돼 있는가 ## 원칙에서 운영까지: 신뢰의 완성 원칙만 있으면 선언으로 끝나고, 구현만 있으면 도구 나열이 된다. 운영 루프가 없으면 신뢰는 시간이 지나며 마모된다. 팀의 합의를 한 문장으로 정리하면 이렇다. **"기본은 불신, 예외는 서명으로 증명한다."** 불신은 사람을 겨냥하지 않는다. 시스템의 기본값을 겨냥한다. 예외가 필요하면 그 예외는 증거로 남아야 한다. 구현 패턴은 단순해야 지속된다. Git 서명과 머지 정책을 결합하고, CI에서 provenance와 attestation을 생성한다. 토큰은 단기 만료와 최소 범위를 기본으로 한다. 의존성은 고정하고 업데이트는 자동 제안하되 승인 기준을 둔다. 배포는 정책 기반으로 제한한다. 여기에 운영 루프를 붙인다. 탐지(관측)–분석–조치–회고의 반복이다. 회고는 문서 작업이 아니라 규칙의 업데이트다. "왜 놓쳤는가"보다 "어떤 증거가 없었는가"를 먼저 본다. 증거의 결핍은 구조의 결핍이다. 모든 변경을 실시간으로 완벽히 승인하려는 욕심은 포기해야 한다. 속도는 조직의 생존 조건이기도 하다. 대신 "핵심 경로의 변경은 반드시 증명 가능하게"라는 선을 택한다. 보안은 완전성이 아니라 경계의 설계다. ## 딥페이크와 사회공학: 절차가 사람을 보호한다  딥페이크는 영상 판별 기술의 문제가 아니다. 실제 현장에서는 긴급 요청의 형태로 나타난다. 배포 승인, 계정 복구, 결제 정보 변경 같은 업무가 표적이 된다. 핵심은 사람을 보호하기 위해 절차를 설계하는 것이다. 음성과 영상은 더 이상 증거로 충분하지 않다. 증거는 서명된 요청과 검증 가능한 체인으로 옮겨가야 한다. 실무적으로는 다음이 현실적이다. 긴급 배포 요청은 티켓과 서명된 승인 기록을 요구한다. 계정 복구는 2채널 검증을 기본으로 둔다. 결제와 정산 변경은 별도 승인 흐름과 변경 잠금 기간을 둔다. 전화 한 통으로 예외를 허용하는 문화를 줄인다. 긴급 상황에서 절차는 느리게 느껴진다. 하지만 딥페이크가 강해질수록 예외는 공격 표면이 된다. 예외를 없앨 수 없다면 예외를 증명 가능하게 만들어야 한다. **자가진단: 긴급 요청의 처리** - 긴급 배포는 어떤 증거 체인으로 승인되는가 - 계정 복구는 단일 채널에 의존하는가 - 예외가 기록으로 남고 사후 검토가 가능한가 ## 신뢰는 배관이다 에이전트형 AI는 개발자의 시간을 돌려준다. 그러나 그 시간은 공짜가 아니다. 신뢰를 설계할 의무로 되돌아온다. 코드 신뢰, 공급망 신뢰, 실행 신뢰는 서로 고립되지 않는다. 한 층이 무너지면 다른 층의 증거도 의미를 잃는다. 핵심은 도구가 아니라 구조다. 서명과 provenance로 변경의 주체를 고정하고, SBOM과 재현 가능한 빌드로 구성의 경계를 세우며, 정책과 관측으로 실행의 사실을 증거로 남길 때 신뢰는 운영 가능해진다. 에이전트가 일하는 시대의 보안은 더 강한 방패가 아니라 더 정교한 신뢰의 배관이다.