Skip to content
Park Hyoin PARKHYO.IN
Go back

AI 에이전트 파이프라인은 쓸 수 있는가

Edit page

내용 정리에 AI를 사용하지 않은 글입니다.

배경

  • X에서 앤스로픽 엔지니어가 에이전트 파이프라인 사용하면 편한데 왜 안함??이라고 얘기했다는 걸 보고 시작하게 됨
    • 에이전트 파이프라인을 사용하면 토큰 낭비가 심할 것으로 예상되어 클로드 토큰 많이 쓰라는 식의 홍보 영상일 수도 있지만 신기술을 사용해보고 싶었음

알아볼 것

  • 에이전트 파이프라인을 사용하여 인간 개입 없이 구현이 가능한가
    • 개입이 필요하다면 최소한의 개입이 필요한 부분은 어떤 것인가
  • 에이전트 파이프라인에서 에이전트끼리 어떻게 소통하며, 소통의 내용은 어떻게 이루어져있는가
  • 에이전트 파이프라인으로 작업하게 될 경우 토큰 소모량은 어느 정도인가

구현

실험 방법

  • 메인 세션에서 실험 계획과 서브에이전트 구성 및 실험에 사용할 프로젝트 설계를 진행
    • 세부적인 설계 초안은 내가 작성하지 않고, 해당 설계를 통해 나온 목업을 확인 후 구현 진행
  • 에이전트 파이프라인으로 개발할 세션과 사람이 프롬프팅해서 개발할 세션은 워크트리를 따로 파서 서로에게 영향을 주지 않도록 함
  • 총 3번의 기능 구현을 진행하여 비교

서브에이전트 목록

  • implementer: 코드 구현
  • test-writer: 테스트 코드 작성
  • tester: 테스트 실행
  • reviewer: 코드 리뷰
  • qa: 서버 띄워서 http 블랙박스 검증
  • security: 보안
  • doc-keeper: 문서 관리 및 형상 관리

결과

에이전트 파이프라인 - F1 결과

에이전트 파이프라인은 쓸 수 있는가

  • 쓸 수 있음
    • 다만, 어떻게 유지보수할지가 고민임
    • 보안 관련 이슈 어떻게 함? 검증 관련 이슈 어떻게 함? 보이지 않는 곳에서 사고치고 다니는 애를 어떻게 알 수 있을까?

AI는 어떻게 소통했는가

에이전트 파이프라인의 토큰 소모량

  • 토큰 사용량은 아래와 같음
  • 비용은 아래와 같음
    • 토큰 사용은 기능 구현과 테스트 코드 구현 쪽에서 많이 썼지만, 비용은 opus를 쓴 역할보다 적게 듦

한계

  • 각 에이전트가 사용한 라이브러리는 AI가 추천한 대로 진행되었으며, 각각의 trade-off를 고려하여 선정한 것이 아님
  • 사람이 개입한 것과 자동으로 구현한 것의 차이를 보려고 했으나, 실상은 사람이 검토하고 확인만 누른 결과라 사람이 병목이라는 점 외에는 모든 케이스가 AI가 구현한 결과로 나와서 비교가 의미 없어짐
    • 원래는 r3까지 진행하려고 했으나, 위의 이유로 r2까지만 구현 후 결과 도출
  • 서비스가 작음
    • 큰 코드베이스에서는 맥락을 읽는 비용이 훨씬 커질 것으로 예상

진행하다가 궁금했던 것

역할별 고정 오버헤드 토큰 측정

  • 에이전트를 한 번 부를 때마다, 일의 내용과 상관없이 무조건 나가는 “기본요금”을 잰 것
    • 이걸 하는 이유: 에이전트 간의 소통이 비싼지, 호출 자체가 비싼지를 구분할 수 있음
    • 토큰 사용량의 베이스라인을 정하기 위함
  • 콜드 스타트와 웜 스타트에 대한 부분도 비교
    • AI 관련 모델을 부를 때 콜드 스타트, 웜 스타트에 대한 비교를 기본적으로 해야한다는 것을 배움

  • 첫번째는 서브에이전트를 정의한 메인 세션에서, 두번째는 에이전트 파이프라인이 있는 워크트리에서 진행
  • 정확히 287토큰씩 많아졌음
    • 작업 폴더 경로와 같은 환경 정보만 달라졌고, 나머지는 그대로 재현됐음

숨긴 평가 테스트

  • 내용: 기능마다 설계서의 수용 기준(AC)을 검사하는 테스트를 따로 만듦
  • 에이전트가 이 테스트를 볼 수 있으면 기능을 만드는 대신 테스트를 통과하도록 코드를 구현할 수 있음
    • 그래서 저장소 밖에 두고 에이전트는 볼 수 없는 환경으로 세팅
  • 해당 테스트는 파이프라인의 품질 검사라기보다는 실험의 측정 도구임
  • 의문: 요즘 AI는 내가 작업하고 있는 프로젝트 디렉토리 뿐만 아니라 접근 권한이 있는 다른 디렉토리의 내용물도 알아서 긁어오던데 단순히 git 범위 바깥이라고 다를까
  • 천장 효과: 쉽게 말해서, 만점자가 너무 많다 보니 누가 똑똑한지 모르는 상황
    • 숨긴 평가 테스트도 107/107 통과였지만, 너무 쉬운 테스트였다 보니 제대로 검증이 되었다고 할 수 없음
    • 정적 지표, 리뷰 지적 수, 비용, 루프 횟수, 블라인드 비교 평가로 보완하도록 조치함

진행하다가 막힌 부분

목업은 직접 보고 구현에 들어가는 줄 알았는데 아니었음

  • AI가 설계한 방향은 간단한 서비스였기 때문에 전혀 UI가 없는 api 관련이었음
  • 어떤 개발 분야에서 해당 파이프라인을 활용할 건지에 대한 context 공유 누락으로 인해 잘못된 방향으로 진행되었었음
  • 웹 개발, 앱 개발을 진행할 때 사용할 파이프라인이라고 명시해둠

테스트, 리뷰, QA, 보안을 병렬로 진행하려고 했지만 잘못됐음

  • 테스트에 실패한 코드를 리뷰할 필요는 없음
  • 테스트에서 green이 뜨고 나서 그 뒤의 단계를 병렬로 진행해야 맞음

hook에 버그가 있어서 목업 구현이 멈춤

  • 메인 세션에서 구현한 hook의 버그를 실행 세션에서 찾아서 실행 중지 후 수정 요청

깨달은 점

  • 목업까지 진행하고 난 후 목업 이후의 구현 및 검증을 에이전트에게 맡기는 식으로 에이전트 파이프라인을 사용하면 될 거 같다고 생각함
  • 토큰 사용량과 비용이 같은 개념인 줄 알았는데 다르다는 것을 알게 됐음
    • haiku로 토큰을 많이 사용한다고 해도 opus로 적게 토큰 사용한 것보다 비용은 더 싸다

후속 진행 방향

  • 구축한 에이전트 파이프라인을 기존 프로젝트에 연동하여 기능 단위로 구현할 때 사용할 수 있을까
  • 랄프 루프로 목업, AI 오케스트레이션으로 구현, 실 테스트로 기능 구현 확인하는 워크플로우가 가능할까
  • 모든 작업을 auto로 진행하는 파이프라인과 모든 작업을 사람이 수동으로 진행하는 구현을 비교하려면 어떻게 해야 할까(안할 거 같음)
  • 어떻게 옳게 된 방향으로 진행되고 있는지 확인할 것인가
  • 이렇게까지 AI가 발전되면 인간은 어떤 방향으로 발전해야 하는가?
    • 도메인 특화 개발자: 특정 도메인에 대한 내용을 깊게 파고들어 범용 LLM이 해결할 수 없는 부분에 대하여 해결책을 제시
    • 하나의 프로젝트를 전부 담당하여 끝까지 마칠 수 있는 개발자:AI를 증강으로 채택, 프로젝트에 필요한 모든 분야의 업무를 AI를 활용하여 생산성을 높임

Edit page