백엔드 개발자 한 명이 팀처럼 일하는 법

수많은 세션과 프로젝트를 워커, PM, 오케스트레이터로 나눠 운영하기

Zero • Backend Engineer

  • Backend

안녕하세요, 채널톡에서 커머스 백엔드를 개발하는 제로입니다.

저는 개발할 때 AI 세션을 여러 개 동시에 돌립니다. 올해 6월에 입사한 뒤 10월까지 넉 달 동안 이 방식으로 머지한 PR이 600개가 넘고, 손댄 저장소는 서른 곳 가까이 됩니다.

세션과 프로젝트가 늘어나면 어느 세션이 어디까지 왔는지, 어느 세션이 제 결정을 기다리는지를 혼자 다 따라가기 어렵습니다. 그래서 지금은 세션을 워커, PM, 오케스트레이터로 나눠서 작은 조직처럼 운영하고 있습니다.

이번 글에서는 이 구조를 만든 순서대로 소개합니다. 이슈 하나를 맡기는 하네스부터 여러 세션 관리, 머지 뒤 검증, PM과 오케스트레이터, 하네스 지표까지 다룹니다.

왜 AI에게 맡기기 시작했나

커머스팀은 맞닿아 있는 범위가 넓습니다. 바깥으로는 카페24, Shopify, 아임웹, 고도몰을 비롯해 열 곳이 넘는 쇼핑몰 솔루션과 연동하고, 안쪽으로는 데스크, AI 상담원 ALF, 앱스토어, 빌링 같은 채널톡의 여러 시스템과 엮여 있습니다. 솔루션마다 API도 규칙도 달라서 전부 익힌 다음에 일을 시작하기는 어려웠습니다.

회사에서 Claude와 Codex를 자유롭게 지원해 주고 있어서 AI에게 맡길 수 있는 일은 처음부터 최대한 맡기기로 했습니다.

1. 하네스: 이슈 하나를 끝까지 맡기기

하네스는 AI 에이전트가 이슈 하나를 처리할 때 거치는 단계와 규칙을 묶어 둔 것입니다. 입사하고 일주일쯤 지나 만든 첫 버전은 아래와 같습니다.

그림 1. 하네스 단계. 보라색 칸은 제가 승인하는 단계입니다.

  • 1단계: Linear에서 이슈를 가져옵니다.

  • 2단계: 코드를 읽고 계획을 쓴 다음 제 확정을 한 번 받습니다.

  • 3단계: 구현합니다.

  • 4~5단계: 빌드와 테스트를 돌리고 깨지면 구현으로 돌아갑니다.

  • 6단계: 스펙, 백엔드, 보안, 도메인, 설계 관점마다 리뷰 에이전트를 하나씩 동시에 띄워 리뷰합니다. 심각한 지적이 하나라도 나오면 다시 구현으로 갑니다.

  • 7단계: 제 승인을 받고 PR을 올립니다.

  • 8~9단계: CI 결과와 리뷰 코멘트를 받아 와서 고치고 회신합니다. 머지 버튼은 제가 누릅니다.

  • 10단계: 작업 폴더를 정리하고 회고를 씁니다.

단계마다 할 일과 다음 단계로 넘어가는 조건은 규칙 파일에 적어 두었습니다. 빌드와 테스트 명령은 저장소마다 설정 파일에 두고 하네스가 읽어서 실행합니다.

처음에는 단계마다 제가 명령을 직접 쳤고 푸시나 코멘트 하나도 매번 저에게 묻게 했습니다. 안전하긴 했지만 묻고 기다리는 일이 가장 큰 병목이었습니다. AI가 쓴 코드는 마음에 안 들면 다시 짜게 하면 됩니다. 그래서 7월에 단계를 하나로 묶었습니다. 지금은 명령 하나로 끝까지 가고, 요구사항이 모호할 때와 머지 직전에만 멈춥니다.

회고 끝에는 개선 제안을 적게 했고 제가 승인한 제안은 규칙 파일에 반영합니다. 이 기간에 쌓인 이슈 회고가 수백 개이고, 회고에서 나온 제안 가운데 규칙으로 들어간 것은 그보다 많습니다. 지금 하네스의 규칙은 대부분 이렇게 회고에서 나왔습니다.

2. 세션이 많아졌을 때: 대시보드와 세션 자동화

이슈 하나를 맡길 수 있게 되면 여러 개를 동시에 돌리게 됩니다. 이때 세션마다 진행 단계가 다릅니다. 어떤 세션은 구현 중이고, 어떤 세션은 계획 확정을, 어떤 세션은 머지를 기다립니다. 창을 옮길 때마다 이 세션이 어디까지 왔는지 다시 떠올려야 했습니다.

그림 2. 세션 다섯 개를 오가며 확인하던 모습. 보라색 선이 제가 보고 있던 세션입니다.

세션이 늘어나면 AI의 컨텍스트보다 사람의 컨텍스트가 먼저 부족해집니다. 그래서 제가 덜 들여다봐도 되도록 아래 세 가지를 만들었습니다.

1/ 의존 그래프 대시보드 (7월 말)

프로젝트마다 따로 만들어 쓰던 대시보드를 로컬 허브 하나로 합쳤습니다. 프로젝트 카드를 누르면 이슈와 PR의 의존 그래프가 나옵니다. 상자 하나가 Linear 이슈 하나이고, 그 안에 그 이슈로 머지한 PR이 붙습니다. 상자 사이의 선은 무엇이 끝나야 무엇을 시작할 수 있는지를 나타냅니다. 그래서 머릿속으로 기억하던 작업 순서를 화면에서 바로 볼 수 있습니다.

그림 3. 허브 첫 화면과 프로젝트별 이슈, PR 의존 그래프

2/ 세션 정리 자동화 (7월 말)

터미널 탭 이름을 이슈 키와 제목으로 맞추고 하네스 몇 단계인지도 같이 표시했습니다. 탭은 Linear 프로젝트별로 묶이고 회고까지 끝난 세션은 자동으로 닫힙니다. 세션이 몇 개 떠 있는지 따로 신경 쓰지 않아도 됩니다.

3/ 세션 열기 자동화 (8월 중순)

세션을 여는 일도 자동화했습니다. 메인 세션에서 계획을 세울 때 이슈 사이의 의존 관계를 정해 둡니다. 계획이 확정되면 서로 기다릴 필요가 없는 이슈를 한꺼번에 여러 세션으로 엽니다. 세션 하나가 이슈 하나를 맡고 작업 폴더도 세션마다 따로 씁니다.

9월 중순에는 큐를 붙여서 한 건이 끝나면 의존 순서에 따라 다음 건이 자동으로 시작되게 했습니다. 처음 큐에 올린 것은 Shopify 이슈 스무 개 남짓이었고 몇 개씩 동시에 돌렸습니다.

메인 세션은 직접 일하지 않는다는 규칙도 이때 정했습니다. 메인 세션은 지시문만 새 세션에 넘기기 때문에 토큰이 거의 쌓이지 않습니다.

세션을 여는 앱은 cmux에서 Orca로 바꿨습니다. cmux가 몇 번 멈췄고 그때마다 안에 있던 세션이 전부 종료됐기 때문입니다. Orca는 카드 한 장마다 git worktree와 터미널을 따로 만듭니다. 그래서 앱이 멈춰도 카드와 작업 폴더는 남습니다. 여러 세션이 같은 저장소를 동시에 고쳐도 작업 폴더끼리는 섞이지 않습니다. 다만 마이그레이션 번호처럼 머지할 때 부딪히는 것은 따로 챙겨야 하는데, 이 이야기는 4절에서 다룹니다. 카드는 커밋된 파일만 보기 때문에 규칙을 바꾸면 커밋까지 해야 카드에 반영됩니다.

3. 머지 뒤 검증 자동화

커머스는 로컬 테스트만으로 확인할 수 있는 범위가 좁습니다. 바깥 쇼핑몰과 채널톡 기능이 엮여 있어서 사내 검증 환경에 배포해 실제로 돌려 봐야 합니다. 사내에서는 이 환경을 exp라고 부르고 아래 그림에도 그렇게 적혀 있습니다. 이 확인도 자동화했습니다.

사내 배포 시스템에는 에이전트가 부를 수 있는 MCP 서버가 없었습니다. 그래서 7월 초에 배포 화면이 호출하는 API를 따서 직접 만들었고 지금은 설정 변경, 롤아웃, 데이터베이스 마이그레이션까지 에이전트가 합니다.

그림 4. 머지 뒤 검증 흐름. 배포하고 E2E 테스트를 돌린 뒤 실패하면 후속 PR을 엽니다.

동작은 다음과 같습니다.

  • 제가 PR을 머지하면 머지 감시기가 이를 감지해 검증 환경에 배포하고 실제 시나리오로 E2E 테스트를 돌립니다. 통과하면 회고를 쓰고 카드를 닫습니다.

  • 실패하면 원인이 어디에 있는지부터 확인합니다. 이번 변경 때문이면 같은 이슈로 후속 PR을 엽니다. 검증 환경에서 실패를 재현한 다음 고치고 리뷰까지 거쳐서 올립니다. 제가 그 PR을 머지하면 다시 배포해서 같은 시나리오를 돌립니다.

  • 두 번째 후속 PR에서도 같은 시나리오가 실패하면 반복하지 않고 멈춘 뒤 저에게 알립니다.

  • 환경이나 데이터 문제처럼 이번 변경과 상관없는 실패라면 PR을 만들지 않고 회고에 기록만 남깁니다.

이렇게 열린 후속 PR은 지금까지 열댓 개입니다. 운영 환경은 하네스가 건드리지 않습니다. 준비까지만 하고 배포 버튼은 사람이 누릅니다.

회고를 쓰는 시점도 바꿨습니다. 9월 중순부터는 검증 환경에서 E2E 테스트까지 돌린 뒤에 회고를 쓰고 이 단계가 머지 전에 놓친 문제를 잡았는지 회고에 한 줄씩 적습니다.

그림 5. 머지 뒤 검증 환경에서 처음 드러나 고친 문제

그 뒤 한 달 동안의 회고를 모아 보면 대부분은 "새로 잡은 건 없다"였고 열 건 남짓은 머지 뒤 검증 환경에서 처음 드러나 후속 PR로 고친 경우였습니다.

카페24 주문 메모 등록이 그 예입니다. 단위 테스트, 수백 건짜리 카페24 회귀 테스트, 여러 관점의 리뷰, 봇 리뷰, CI를 모두 통과한 변경이었습니다. 그런데 검증 환경에서 실제로 호출하자 이모지로 채운 긴 메모가 거절됐습니다. 카페24 문서에 적힌 글자 수 제한이 실제로는 바이트 기준이었습니다. 나머지는 대부분 다른 작업과 합쳐지면서 빌드가 깨지거나 마이그레이션 번호가 겹친 경우였습니다.

테스트를 모두 통과한 변경도 실제 환경에서는 실패할 수 있습니다. 그래서 지금은 검증 환경 기록이 없으면 회고를 닫지 못하게 했습니다.

4. 조직처럼 나누기: PM, 오케스트레이터, 보고판

프로젝트가 여러 개로 늘어나면 같은 문제가 한 번 더 생깁니다. 새 카드가 뜨고 끝난 카드가 닫히면서 상태가 계속 바뀌는데 어느 카드가 제 결정을 기다리는지는 창을 하나씩 열어 봐야 알 수 있었습니다.

여러 일을 파악하고 결정하는 것은 사람 조직이 이미 하고 있는 일입니다. 조직에서는 팀 안의 일은 팀이 결정하고 중요한 결정만 리더에게 올립니다. 10월 초에 이 구조를 그대로 적용했습니다.

그림 6. 조직도. 제가 리더, 오케스트레이터가 본부, PM이 팀장, 워커가 팀원입니다.

  • 워커: 이슈 하나를 맡는 세션입니다. 앞에서 설명한 하네스를 따릅니다.

  • PM: 프로젝트마다 하나씩 두는 세션입니다. 워커 카드를 띄우고 진행을 감독합니다. 저에게는 "바로 머지", "리뷰 요청", "보류" 중 하나로 판정만 올립니다. 코드를 직접 읽지 않고 상태 파일만 보기 때문에 PM 세션은 가볍게 유지됩니다.

  • 오케스트레이터: PM들 위에 있는 최상위 세션입니다. 저는 여기에만 말하고 제 말은 PM을 거쳐 워커까지 전달됩니다. 멈춘 PM을 다시 띄우고 프로젝트 사이의 충돌을 정리하는 일도 맡습니다. 이 층은 두 가지 일을 겪고 만들었습니다. 하나는 PM 하나가 며칠째 멈춰 있는데 아무도 몰랐던 일이고, 다른 하나는 같은 날 올라온 PR 여러 개가 같은 마이그레이션 번호를 써서 검증 환경 CI가 한 시간 넘게 실패한 일입니다.

  • 보고판: 제가 결정할 것을 웹 화면 한 곳에 모은 것입니다. PM마다 질문이 따로 쌓여서 오케스트레이터를 만든 바로 다음 날 만들었습니다. 워커가 판단을 물으면 선택지가 뜨고 저는 하나를 고르거나 한 줄로 답합니다.

제 방향을 전달하는 방법도 단순합니다. 원하는 개발 방식을 오케스트레이터에게 말하면, 오케스트레이터가 하네스 규칙 파일에 반영해 커밋하고 PM들에게 다시 읽으라고 알립니다. 카드는 커밋된 파일만 보기 때문에 커밋 이후에 뜨는 워커는 모두 같은 규칙으로 일합니다.

예를 들어 결제 메일 PR 수십 건이 같은 공통 검사를 여러 파일에서 반복하고 있었습니다. "공통 경로 테스트는 한 번만"을 구현 규칙과 리뷰 기준에 넣었고 바로 다음 워커부터 적용됐습니다.

회고도 층마다 따로 씁니다. 워커는 이슈가 끝날 때, PM은 프로젝트가 끝날 때 쓰고 오케스트레이터는 매주 PM들의 성적표를 씁니다. 성적표에서는 "바로 머지"로 판정한 PR이 사고 없이 나갔는지, 리뷰 요청이 헛걸음은 아니었는지, 제가 몇 번이나 바로잡아야 했는지를 봅니다. 여기서 나온 제안 중 판정을 더 엄격하게 하는 것은 오케스트레이터가 바로 반영합니다. 머지 기준을 완화하거나 PM 권한을 바꾸는 것은 제가 보고 정합니다.

5. 보고는 HTML로 받기

세션이 많으면 제가 읽어야 하는 글도 많아집니다. 터미널에 길게 출력된 답이나 마크다운 파일을 하나씩 읽어서는 따라갈 수 없었습니다.

그래서 프로젝트를 시작할 때 무엇을 왜 하는지와 진행 순서를 HTML 한 장으로 정리해 PM에게 넘깁니다. 조사 결과나 계획도 제가 직접 봐야 하는 것은 HTML로 받습니다. 흐름은 React Flow로, 지표는 Chart.js로 그리게 했고 문장은 번역투 없이 쓰게 했습니다.

그림 7. 실제로 만들어 쓴 HTML 예시. 빌링 개발 계획, 회계매출 파이프라인 설명, 감사 로그 아키텍처입니다.

글로 읽으면 몇 분 걸리는 내용을 훑어보고 이상한 곳만 자세히 볼 수 있습니다. 계속 쓰다 보니 작업 폴더에 HTML이 수백 개 쌓였습니다. 아무도 안 보는 HTML은 토큰 낭비라는 지적을 받은 뒤로는 제가 직접 보는 것만 HTML로 만들고 하네스 안에서 오가는 계획은 마크다운으로 둡니다.

6. 지표로 하네스 개선하기

회고가 쌓이면서 고칠 곳은 많아졌는데 어디부터 고쳐야 할지 판단하기 어려웠습니다. 그래서 9월 중순에 하네스 지표를 만들었습니다. 작업 한 번을 런이라고 부르고 런마다 세 가지를 잽니다.

  • 사람이 개입한 횟수: 하네스가 잘못해서 제가 방향을 되돌리려고 한 말만 셉니다.

  • 턴 비용: 에이전트가 한 번 응답하는 단위인 턴마다 무슨 일을 했고 어느 단계였는지로 나눠서 봅니다.

  • 단계별 방어: 단계마다 무엇을 막았고 무엇이 뒤 단계에서 터졌는지 셉니다.

그림 8. 지표로 하네스를 고치는 순서와 턴 수가 줄어든 두 곳

비용을 턴이 한 일별로 나눠 보면 코드를 고치는 데 쓴 비용은 전체에서 아주 작습니다. 턴 하나의 비용은 그 턴에서 한 일보다 그때 세션에 실려 있던 토큰 양으로 정해지기 때문입니다. 기다리기나 읽기처럼 가벼운 턴도 세션이 크면 파일을 고치는 턴보다 비쌉니다. 실제로 기다리는 턴이 비용에서 적지 않은 몫을 차지했고, 세션이 가장 커진 시점에 몰려 있었습니다.

고친 것은 다음과 같습니다.

  • 기다리는 일을 큰 세션에서 떼어 냈습니다. 기다리는 턴 하나에 실리는 토큰이 절반 가까이 줄었습니다.

  • 머지 뒤 검증은 감시를 한 번만 걸고 머지 감시도 하나로 합쳤습니다. 런당 턴 수가 39턴에서 24턴으로 줄었습니다.

  • 회고 단계에 턴 예산을 걸어서 회고에 드는 턴을 12턴에서 4턴으로 줄였습니다.

  • 한 파일로 되어 있던 큰 규칙 문서를 작은 색인과 단계별 파일로 나눠서 해당 단계에 들어갈 때만 읽게 했습니다. 에이전트만 읽는 공통 규칙은 영어로 바꿔 토큰을 절반 가까이 줄였습니다. 옮기는 과정에서 "존댓말과 약어 금지"가 "존댓말 금지"로 뜻이 뒤집힌 곳이 나와서 전부 다시 점검해 바로잡았습니다.

  • 9월 중순부터는 Claude 한도를 아끼려고 리뷰 에이전트처럼 여러 개를 동시에 띄우는 일을 Codex로 넘겼습니다. 9월 말에는 쓴 모델이 자기 코드를 리뷰하지 않도록 코드는 Claude가 쓰고 리뷰는 Codex가 하게 나눴습니다.

런당 비용은 한 달 만에 절반 가까이 줄었습니다. 다만 대부분은 같은 시기에 캐시 단가가 낮은 새 모델로 바꾼 덕분이고, 같은 단가로 다시 매기면 거의 줄지 않았습니다. 하네스를 고친 효과는 비용보다 턴 수에서 드러났습니다. 비용은 공개 단가로 환산한 Claude 쪽 값이고 Codex 몫은 넣지 않았습니다. 구독제로 쓰고 있어서 실제 청구 금액도 아닙니다.

7. 아직 남은 문제

사람이 개입한 횟수는 오히려 늘었습니다. PM과 오케스트레이터를 넣은 뒤 런당 개입 횟수가 두 배를 넘었습니다. 새로 만든 층이 자리를 잡는 동안 제가 고쳐 줘야 할 것이 많았기 때문으로 보고 있고 지표에서 다음으로 고칠 항목입니다.

마치며

정리하면 이슈 하나를 맡기는 하네스에서 시작해 세션 관리, 머지 뒤 검증, PM과 오케스트레이터 순서로 만들었습니다. 지금 제가 직접 하는 일은 방향을 정하는 것과 머지 버튼을 누르는 것입니다.

AI가 코드를 쓰면 코드를 짜는 속도보다 사람이 이해하고 결정하는 속도가 병목이 됩니다. 그래서 무언가를 새로 만들 때는 제가 직접 보지 않아도 되게 할 방법이 있는지부터 확인합니다. 다음 작업은 앞에서 말한 개입 횟수를 줄이는 것입니다.

채널톡에서는 저와 함께 이런 문제를 함께 풀어 갈 엔지니어를 찾고 있습니다. 채용 공고는 여기에서 보실 수 있습니다.

We Make a Future Classic Product