Bits, Bytes & Neural Networks

Bits, Bytes & Neural Networks

#large-language-models-llms

Articles tagged with #large-language-models-llms

Mixtral of Experts 논문 리뷰
Mixtral은 오픈소스 LLM에 전문가 혼합(MoE) 구조를 도입하여, 추론 속도와 처리량을 크게 향상시켰습니다.
Jan 7, 202424 min read20
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 논문 리뷰
DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.
Jan 4, 202421 min read24
Mistral 7B 논문 리뷰
Mistral AI가 2023년 10월에 처음 선보인 Mistral 7B는 효율적인 아키텍처와 뛰어난 성능으로, 소형 오픈소스 언어 모델 분야에 새로운 변화를 가져왔습니다.
Sep 9, 202320 min read31
Llama 2: Open Foundation and Fine-Tuned Chat Models 논문 리뷰
2023년 7월 Meta AI가 출시한 Llama 2는 거부 샘플링, RLHF, 레드팀 테스팅 등의 기법을 통해 대화 안전성 향상에 중점을 두었습니다. 이 모델은 유해 콘텐츠 제한과 유용성 사이의 균형을 찾는 새로운 기준을 제시했습니다.
Jul 17, 202334 min read40
LLaMA: Open and Efficient Foundation Language Models 논문 리뷰
LLaMA는 현대적인 오픈소스 LLM의 중요한 출발점으로서, 2023년 2월 Meta AI가 출시했습니다. 이 모델은 효율적인 트랜스포머 아키텍처 설계를 확립하여 후속 오픈소스 LLM들이 따르는 기술적 표준을 제시했습니다.
Feb 26, 202318 min read42