내용 정리에 AI를 사용하지 않은 글입니다.
배경
- X에서 앤스로픽 엔지니어가 에이전트 파이프라인 사용하면 편한데 왜 안함??이라고 얘기했다는 걸 보고 시작하게 됨
- 에이전트 파이프라인을 사용하면 토큰 낭비가 심할 것으로 예상되어 클로드 토큰 많이 쓰라는 식의 홍보 영상일 수도 있지만 신기술을 사용해보고 싶었음
알아볼 것
- 에이전트 파이프라인을 사용하여 인간 개입 없이 구현이 가능한가
- 개입이 필요하다면 최소한의 개입이 필요한 부분은 어떤 것인가
- 에이전트 파이프라인에서 에이전트끼리 어떻게 소통하며, 소통의 내용은 어떻게 이루어져있는가
- 에이전트 파이프라인으로 작업하게 될 경우 토큰 소모량은 어느 정도인가
구현
- github 링크: https://github.com/dpcivl/agent-pipeline-lab
실험 방법
- 메인 세션에서 실험 계획과 서브에이전트 구성 및 실험에 사용할 프로젝트 설계를 진행
- 세부적인 설계 초안은 내가 작성하지 않고, 해당 설계를 통해 나온 목업을 확인 후 구현 진행
- 에이전트 파이프라인으로 개발할 세션과 사람이 프롬프팅해서 개발할 세션은 워크트리를 따로 파서 서로에게 영향을 주지 않도록 함
- 총 3번의 기능 구현을 진행하여 비교
서브에이전트 목록

- implementer: 코드 구현
- test-writer: 테스트 코드 작성
- tester: 테스트 실행
- reviewer: 코드 리뷰
- qa: 서버 띄워서 http 블랙박스 검증
- security: 보안
- doc-keeper: 문서 관리 및 형상 관리
결과
에이전트 파이프라인 - F1 결과

- 목업 승인은 간단한 동작 확인만 하고 넘겼음
- F1-보고서 링크: https://github.com/dpcivl/agent-pipeline-lab/blob/main/research/runs/F1/default/r2/artifacts/F1-report.md
- 이런 식으로 베이스라인을 측정하고 파이프라인이 기능 구현을 하는 것을 측정하고 사람이 기능 구현을 하는 것을 측정하는 식임
에이전트 파이프라인은 쓸 수 있는가
- 쓸 수 있음
- 다만, 어떻게 유지보수할지가 고민임
- 보안 관련 이슈 어떻게 함? 검증 관련 이슈 어떻게 함? 보이지 않는 곳에서 사고치고 다니는 애를 어떻게 알 수 있을까?
AI는 어떻게 소통했는가
- 자세한 내용은 보고서에 sample 따로 정리함
- 헤더와 리스트를 사용하여 이슈 별로 어떤 업무를 수행했는지, 수행해야 하는지 정리하여 공유되고 있었음
- 사람이 사용하는 말투와 비슷함. 다만, 전문성이 너무 높다. 적어도 내 기준으로는 그렇게 보임.
에이전트 파이프라인의 토큰 소모량
- 토큰 사용량은 아래와 같음

- 비용은 아래와 같음
- 토큰 사용은 기능 구현과 테스트 코드 구현 쪽에서 많이 썼지만, 비용은 opus를 쓴 역할보다 적게 듦

- 토큰 사용은 기능 구현과 테스트 코드 구현 쪽에서 많이 썼지만, 비용은 opus를 쓴 역할보다 적게 듦
한계
- 각 에이전트가 사용한 라이브러리는 AI가 추천한 대로 진행되었으며, 각각의 trade-off를 고려하여 선정한 것이 아님
- 사람이 개입한 것과 자동으로 구현한 것의 차이를 보려고 했으나, 실상은 사람이 검토하고 확인만 누른 결과라 사람이 병목이라는 점 외에는 모든 케이스가 AI가 구현한 결과로 나와서 비교가 의미 없어짐
- 원래는 r3까지 진행하려고 했으나, 위의 이유로 r2까지만 구현 후 결과 도출
- 서비스가 작음
- 큰 코드베이스에서는 맥락을 읽는 비용이 훨씬 커질 것으로 예상
진행하다가 궁금했던 것
역할별 고정 오버헤드 토큰 측정
- 에이전트를 한 번 부를 때마다, 일의 내용과 상관없이 무조건 나가는 “기본요금”을 잰 것
- 이걸 하는 이유: 에이전트 간의 소통이 비싼지, 호출 자체가 비싼지를 구분할 수 있음
- 토큰 사용량의 베이스라인을 정하기 위함
- 콜드 스타트와 웜 스타트에 대한 부분도 비교
- AI 관련 모델을 부를 때 콜드 스타트, 웜 스타트에 대한 비교를 기본적으로 해야한다는 것을 배움


- 첫번째는 서브에이전트를 정의한 메인 세션에서, 두번째는 에이전트 파이프라인이 있는 워크트리에서 진행
- 정확히 287토큰씩 많아졌음
- 작업 폴더 경로와 같은 환경 정보만 달라졌고, 나머지는 그대로 재현됐음
숨긴 평가 테스트
- 내용: 기능마다 설계서의 수용 기준(AC)을 검사하는 테스트를 따로 만듦
- 에이전트가 이 테스트를 볼 수 있으면 기능을 만드는 대신 테스트를 통과하도록 코드를 구현할 수 있음
- 그래서 저장소 밖에 두고 에이전트는 볼 수 없는 환경으로 세팅
- 해당 테스트는 파이프라인의 품질 검사라기보다는 실험의 측정 도구임
- 의문: 요즘 AI는 내가 작업하고 있는 프로젝트 디렉토리 뿐만 아니라 접근 권한이 있는 다른 디렉토리의 내용물도 알아서 긁어오던데 단순히 git 범위 바깥이라고 다를까
- 천장 효과: 쉽게 말해서, 만점자가 너무 많다 보니 누가 똑똑한지 모르는 상황
- 숨긴 평가 테스트도 107/107 통과였지만, 너무 쉬운 테스트였다 보니 제대로 검증이 되었다고 할 수 없음
- 정적 지표, 리뷰 지적 수, 비용, 루프 횟수, 블라인드 비교 평가로 보완하도록 조치함
진행하다가 막힌 부분
목업은 직접 보고 구현에 들어가는 줄 알았는데 아니었음
- AI가 설계한 방향은 간단한 서비스였기 때문에 전혀 UI가 없는 api 관련이었음
- 어떤 개발 분야에서 해당 파이프라인을 활용할 건지에 대한 context 공유 누락으로 인해 잘못된 방향으로 진행되었었음
- 웹 개발, 앱 개발을 진행할 때 사용할 파이프라인이라고 명시해둠
테스트, 리뷰, QA, 보안을 병렬로 진행하려고 했지만 잘못됐음
- 테스트에 실패한 코드를 리뷰할 필요는 없음
- 테스트에서 green이 뜨고 나서 그 뒤의 단계를 병렬로 진행해야 맞음
hook에 버그가 있어서 목업 구현이 멈춤
- 메인 세션에서 구현한 hook의 버그를 실행 세션에서 찾아서 실행 중지 후 수정 요청
깨달은 점
- 목업까지 진행하고 난 후 목업 이후의 구현 및 검증을 에이전트에게 맡기는 식으로 에이전트 파이프라인을 사용하면 될 거 같다고 생각함
- 토큰 사용량과 비용이 같은 개념인 줄 알았는데 다르다는 것을 알게 됐음
- haiku로 토큰을 많이 사용한다고 해도 opus로 적게 토큰 사용한 것보다 비용은 더 싸다
후속 진행 방향
- 구축한 에이전트 파이프라인을 기존 프로젝트에 연동하여 기능 단위로 구현할 때 사용할 수 있을까
- 랄프 루프로 목업, AI 오케스트레이션으로 구현, 실 테스트로 기능 구현 확인하는 워크플로우가 가능할까
- 모든 작업을 auto로 진행하는 파이프라인과 모든 작업을 사람이 수동으로 진행하는 구현을 비교하려면 어떻게 해야 할까(안할 거 같음)
- 어떻게 옳게 된 방향으로 진행되고 있는지 확인할 것인가
- 이렇게까지 AI가 발전되면 인간은 어떤 방향으로 발전해야 하는가?
- 도메인 특화 개발자: 특정 도메인에 대한 내용을 깊게 파고들어 범용 LLM이 해결할 수 없는 부분에 대하여 해결책을 제시
- 하나의 프로젝트를 전부 담당하여 끝까지 마칠 수 있는 개발자:AI를 증강으로 채택, 프로젝트에 필요한 모든 분야의 업무를 AI를 활용하여 생산성을 높임