DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 논문 리뷰
DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.
Jan 4, 202421 min read24
Command Palette
Search for a command to run...
Search for a command to run...
Articles tagged with #swiglu
DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.
LLaMA는 현대적인 오픈소스 LLM의 중요한 출발점으로서, 2023년 2월 Meta AI가 출시했습니다. 이 모델은 효율적인 트랜스포머 아키텍처 설계를 확립하여 후속 오픈소스 LLM들이 따르는 기술적 표준을 제시했습니다.
