멀티모달 / 툴 확장
아바타 / 모션 모델
아바타 제어·립싱크·감정 표현 모델을 파인튜닝합니다. 비전 기반 모션 이해, 텍스트→모션 매핑, 아바타 API 정책 관리.
활성 잡
0
완료 어댑터
0
전체 잡
0
학습 잡 생성
AVATAR 특화 설정
데이터셋 업로드
멀티모달 JSONL (messages + images 필드)
JSONL 파일을 드래그하거나 클릭해서 선택
멀티모달 SFT: {"messages": [...], "images": ["img.jpg"]}
아바타 / 모션 런북
구성 가이드
아바타·모션 파이프라인 연동 체크리스트
풀스펙 구현 범위
ABCD 공통 — 외부 엔진은 프로브·어댑터로 묶습니다
- 텍스트→모션: 비전 기반 LLM으로 동작 설명 → 모션 파라미터 변환
- 렌더링: 외부 엔진(Unity·Unreal·WebGL)과 REST API 연동
- Leaf: 메타·버전·배포 링크·정책 관리 — 실제 렌더는 외부
- 라우터: task_type=avatar_motion 분기 → 전용 엔드포인트
환경 변수 (예시)
.env.factory.example 참고
- LEAF_AVATAR_API_URL — 아바타 렌더 엔진 REST API URL
- LEAF_AVATAR_API_KEY — 렌더 엔진 인증 키 (선택)
오픈소스 참고 (다운로드·설치는 각 레포)
- VRoid Studio API — 3D 아바타 생성
- Ready Player Me — 웹 아바타 플랫폼
- MiniCPM-V — 경량 비전 기반 이해
- MusePose — 포즈 기반 애니메이션
로컬 콘솔 링크
체크리스트 (운영 전)
- 개인 초상·성대 모사 관련 법적 동의서 확인
- 외부 렌더 팜 API 키 순환 정책 설정
- 모션 파라미터 포맷이 렌더 엔진 버전과 일치하는지 확인
- 아바타 생성 결과물 저작권 귀속 정책 문서화