멀티모달 / 툴 확장
Tool Schema
OpenAI 스타일 function calling·JSON schema를 Pack·Router·데이터셋(tool 타입)과 같은 계약으로 맞춥니다. Tool-use 특화 모델 학습 및 스키마 관리.
활성 잡
0
완료 어댑터
0
전체 잡
0
학습 잡 생성
TOOL 특화 설정
데이터셋 업로드
멀티모달 JSONL (messages + images 필드)
JSONL 파일을 드래그하거나 클릭해서 선택
멀티모달 SFT: {"messages": [...], "images": ["img.jpg"]}
Tool Schema 런북
구성 가이드
Tool-use 모델 학습·스키마 관리·배포 체크리스트
풀스펙 구현 범위
ABCD 공통 — 외부 엔진은 프로브·어댑터로 묶습니다
- 데이터: tool 타입 JSONL (function name + arguments + response 형식)
- 학습: Qwen2.5·Llama3.1·Mistral 계열 — function calling 지원 모델
- 팩: Intelligence Pack tool_policy 블록에 스키마 버전 고정
- 추론: vLLM 또는 Ollama — tool_choice 파라미터 지원 버전 필요
환경 변수 (예시)
.env.factory.example 참고
- LEAF_VLLM_OPENAI_BASE — Tool calling 지원 vLLM 엔드포인트
- LEAF_OLLAMA_HOST — 로컬 Ollama (tool calling 지원 모델)
오픈소스 참고 (다운로드·설치는 각 레포)
- OpenAI Function Calling 스펙 — 스키마 참고
- LlamaFactory tool 데이터 — 포맷 예시
- Qwen2.5 — Tool-use 강점
- Llama-3.1 — Function Call 지원
로컬 콘솔 링크
체크리스트 (운영 전)
- 각 tool 이름이 런타임 핸들러와 1:1 매핑되는지 확인
- 스키마 버전을 Pack SHA와 함께 고정 (버전 불일치 방지)
- tool calling 지원 Ollama 버전(>=0.2.x) 또는 vLLM 버전 확인
- 필수 파라미터 validation 로직 런타임에 추가