멀티모달 / 툴 확장
외부 런타임 연결
vLLM·Ollama·MLX·LoRAX·Flower 등 외부 실행기의 URL·헬스·키를 한 화면에서 점검하고, 범용 연결 모델을 학습합니다.
활성 잡
0
완료 어댑터
0
전체 잡
0
학습 잡 생성
RUNTIME 특화 설정
외부 런타임 런북
구성 가이드
외부 실행기 연결·헬스체크·운영 체크리스트
풀스펙 구현 범위
ABCD 공통 — 외부 엔진은 프로브·어댑터로 묶습니다
- Factory 프로브: GET /api/factory/probe → vLLM·Qdrant·Postgres 슬롯 헬스
- 추론 호출: lib/llm.ts — ollama / gemini / vllm/ 순서로 폴백
- 배포: deployAdapter → 엔드포인트 ping 후 deployments 테이블 등록
- Flower (연합학습): /finetuning/fedavg 에서 노드 URL 등록
환경 변수 (예시)
.env.factory.example 참고
- LEAF_VLLM_OPENAI_BASE — OpenAI 호환 vLLM 게이트웨이 URL
- LEAF_LORAX_OPENAI_BASE — LoRAX 서버 URL (선택)
- LEAF_OLLAMA_HOST — 로컬 Ollama (기본 localhost:11434)
- LEAF_DATABASE_URL — pgvector RAG 백엔드 (선택)
- LEAF_QDRANT_URL — Qdrant 벡터 DB URL (선택)
오픈소스 참고 (다운로드·설치는 각 레포)
- vLLM — OpenAI 호환 서빙
- Ollama — 로컬 모델 실행
- MLX (Apple) — Apple Silicon 최적화
- LoRAX — 다중 LoRA 동시 서빙
- Flower (연합학습) — 페더레이티드 학습 프레임워크
로컬 콘솔 링크
체크리스트 (운영 전)
- 허브에서 vLLM·Qdrant·Postgres 슬롯이 녹색(live)인지 확인
- 방화벽 뒤 서버는 TLS 종단·API 키 회전 정책 적용
- Ollama 버전 >= 0.2 (tool calling 지원) 확인
- 연합학습 노드: Flower 서버 URL이 /finetuning/nodes에 등록됐는지 확인
- mlx-lm 버전이 베이스 모델 아키텍처를 지원하는지 확인