Tag: 로컬LLM

All the articles with the tag "로컬LLM".

• AI 라우팅 #2 — 로컬 모델한테 OpenAI API 형식으로 말을 걸고 있었다

  22 Sep, 2026

  지난번에 세팅만 하고 안 읽었던 코드를 열어봤다. types.py 의 pydantic 모델부터 backends 의 추상 클래스까지 따라가다가, 로컬 ollama 에 보내는 요청이 OpenAI API 형식이라는 걸 알았다.

• AI 라우팅 #1 — 큰 모델 하나면 되는데 작은 모델 넷으로 나눴다

  20 Sep, 2026

  프롬프트 내용에 따라 여러 오픈소스 LLM 으로 갈라 보내는 걸 맥북에서 먼저 해보기로 했다. 집 컴퓨터도 맥북도 사양이 모자라서 모델을 다시 골랐고, ollama 설치까지 끝냈다.