【リリースノート】 [https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=4776197](https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=47761 [YouTubeオリジナル映像] [https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy](https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy) **興味深い内容3つ：** - Solar-Open-100Bは、重みをランダムに初期化するfrom scratch方式で学習されたモデルであることを証明する。 - 構造的な違いとデータ解析の誤りによって、LayerNorm類似性疑惑が間違っていることが判明しました。 - 独自の学習カリキュラムとDepth of Scaling技術を活用して費用対効果の高い高性能モデルを開発することが重要です。 ---
【リリースノート】 [https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=4776197](https://lilys.ai/digest/7609256/8343269?s=1¬eVersionId=47761 [YouTubeオリジナル映像] [https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy](https://www.youtube.com/live/2YY9aAUSo_w?si=qUKMKeBIjycafSJy) **興味深い内容3つ：** - Solar-Open-100Bは、重みをランダムに初期化するfrom scratch方式で学習されたモデルであることを証明する。 - 構造的な違いとデータ解析の誤りによって、LayerNorm類似性疑惑が間違っていることが判明しました。 - 独自の学習カリキュラムとDepth of Scaling技術を活用して費用対効果の高い高性能モデルを開発することが重要です。 ---
