[릴리스 노트] [https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=4776197](https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=4776197) [유튜브 원본 영상] [https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy](https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy) **흥미로운 내용 3가지 :** - Solar-Open-100B는 가중치를 랜덤하게 초기화하는 from scratch 방식으로 학습된 모델임을 증명한다. - 구조적 차이와 데이터 해석 오류를 통해 LayerNorm 유사성 의혹이 잘못된 것임을 밝혀냈다. - 독자적인 학습 커리큘럼과 Depth of Scaling 기술을 활용하여 비용 효율적이고 고성능의 모델을 개
[릴리스 노트] [https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=4776197](https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=4776197) [유튜브 원본 영상] [https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy](https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy) **흥미로운 내용 3가지 :** - Solar-Open-100B는 가중치를 랜덤하게 초기화하는 from scratch 방식으로 학습된 모델임을 증명한다. - 구조적 차이와 데이터 해석 오류를 통해 LayerNorm 유사성 의혹이 잘못된 것임을 밝혀냈다. - 독자적인 학습 커리큘럼과 Depth of Scaling 기술을 활용하여 비용 효율적이고 고성능의 모델을 개
