#
태그: llama3_70b
모두 보기 태그.
Fine-tuning 튜토리얼 • Llama3 70B Fine-tuning
1. MoAI Platform 병렬화 - Llama3 70B
Llama3 70B 모델 전체를 파인튜닝하기 위해서는 필수적으로 다중 GPU를 사용해야 하며, 텐서 병렬화(Tensor Parallelism), 파이프라인 병렬화(Pipeline Parallelism), 데이터 병렬화(Data Parallelism) 등의 병렬화를...
Fine-tuning 튜토리얼 • Llama3 70B Fine-tuning
2. Fine-tuning 준비하기
MoAI Platform 상의 컨테이너 혹은 가상 머신을 인프라 제공자로부터 발급받고, 여기에 SSH로 접속하는 방법을 안내 받으시기 바랍니다.
Fine-tuning 튜토리얼 • Llama3 70B Fine-tuning
4. 마무리
지금까지 MoAI Platform에서 Llama3-70b 모델을 fine-tuning하는 과정을 살펴 보았습니다. MoAI 플랫폼을 사용한다면 여러분이 1개, 4개, 100개 등 모든 개수의 GPU를 코드 변경 없이 손쉽게 설정할 수 있습니다.