Tag: llm
All the articles with the tag "llm".
-
FEMS 프로젝트 #3 — Streamlit 비교 대시보드 + 3-백엔드 질문 평가 (Claude 9 / exaone 7 / gpt 7)
FEMS RAG 위에 Streamlit 대시보드 얹어서 동일 질문을 3-백엔드 (exaone3.5:7.8b / claude-opus-4-8 / gpt-4o) 에 동시에 던지고 비교. Q1 (에어 컴프레셔 5월 이상) — exaone·gpt 는 '자료 없음', Claude 는 raw 데이터 없이도 요약치만으로 '주말 시간대 이상' 추론 + 한계 고지. Q2 (관리자 관점 절약 방안) — Claude 9/10 (토큰 절단으로 미완), exaone 7/10 (인덱스 깨짐), gpt 7/10 (간결하지만 '커패시터' 환각). 5축 채점 결과.
-
MCP 공부 #1 — Model Context Protocol 시작 · stdio 서버 + Inspector 로 첫 호출
오늘부터 MCP (Model Context Protocol) 공부 시작. Anthropic 이 만든 표준 프로토콜로, LLM 이 외부 시스템에 접근하는 방식을 표준화. Tool Use 와의 차이 비교 → Python SDK 로 첫 MCP 서버 (say_hello / add_numbers) 구현 → MCP Inspector 로 stdio 연결 확인 → FEMS 와 연결되는 가짜 에너지 관리 서버까지. venv python.exe 경로 문제로 연결 실패 + 해결.
-
RAG 데이터 준비의 전체 흐름 — 선정 · 클렌징 · 청킹 · 메타데이터 · 평가셋
FEMS 프로젝트를 진행하다가 '벡터 DB 에 뭘 어떻게 넣어야 하는가' 가 궁금해서 정리. 핵심 깨달음 — 데이터는 '도메인' 기준이 아니라 '검색되어야 할 질문' 기준으로 거꾸로 선정한다. 그 외 클렌징 / 청크 앞 메타데이터(문서 제목·섹션 경로) 의 효과 / 아날로그 데이터 OCR 전처리 / 평가셋 구축까지 RAG 데이터 파이프라인 전체 흐름.
-
FEMS 프로젝트 #1 — 저사양 로컬 (Ollama + bge-m3 + Chroma) vs Claude API RAG 비교 셋업
FEMS (Factory Energy Management System) 도메인을 학습하면서 RAG 프로토타입을 짜본다. GTX1660 Super · VRAM 6GB 의 저사양 환경에서 로컬 LLM(Ollama) 으로 추론하는 것과 Claude / OpenAI API 를 호출하는 것을 비교. 임베딩은 한국어 강한 bge-m3, 벡터 DB 는 Chroma. 콜드스타트 95초 → 워밍업 후 10초까지 줄어든 ollama, 정답률은 클라우드와 동등.