LLM `from scratch` 논쟁 정리 보고서 (초보자용)

TaeKim · 2026-01-02T07:18:51.120077Z

# LLM `from scratch` 辩论总结报告（面向初学者） ## 1. 本报告的目的本文档总结了近期关于“Solar Open模型是否真正从零开始训练？”这一辩论的双方观点。 **以即使是初学者也能理解的方式**进行总结，并最终评估**哪一方的论点更合理**。 --- ## 2. 首先理解关键概念 ### 2.1 什么是从零开始？ * **不使用任何先前训练模型的权重** * 所有权重均**从零开始训练**，从随机状态开始。 👉 重要提示： > 代码（设计）可以是开源的， > 但**关键标准是权重是否已导入**。 --- ### 2.2 容易混淆的术语 | 术语 | 含义 | 是否从零开始？ | | --------------------- | --------------- | --------------- | | 微调 | 对现有模型进行少量额外训练 | ❌ | | 继续预训练 | 延长现有模型的训练时间 | ❌ | | 部分重用 | 仅重用部分权重 | ❌ | | 从零开始 | 从零权重开始训练 | ✅ | --- ##

1. 이 보고서의 목적

이 문서는 최근 제기된 **"Solar Open 모델이 정말 from scratch로 학습되었는가?"**라는 논쟁을 초보자도 이해할 수 있도록 양쪽 입장을 정리하고, 마지막에 누구의 주장이 더 합리적인지를 평가한다.

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

기존에 학습된 모델의 가중치(weight)를 전혀 사용하지 않고
모든 가중치를 랜덤 상태에서 시작해 처음부터 학습하는 것

👉 중요한 점:

코드(설계)는 오픈소스를 써도 상관없고, 가중치를 가져왔는지가 핵심 기준이다.

2.2 헷갈리기 쉬운 용어

용어	의미	from scratch인가?
Fine-tuning	기존 모델에 살짝 추가 학습	❌
Continued pretraining	기존 모델을 더 오래 학습	❌
Partial reuse	일부 가중치만 재사용	❌
From scratch	가중치 0부터 전체 학습	✅

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

Solar Open 모델은 다음과 같은 큰 구조 변경을 포함한다:

Hybrid MoE (깊이 의존 구조)
- 기존 GLM-4와 다른 전문가 선택 방식
- Router 로직을 새로 설계함
RoPE 전략 변경
- GLM-4 방식 → LLaMA 방식
- 위치 인코딩 계산 방식이 완전히 다름
Normalization 구조 변경
- 단순화 + 선택적 QK normalization

3.2 왜 이게 중요하다고 보는가?

기존 GLM-4 가중치와 구조적으로 맞지 않음
기존 weight를 그대로 쓰기 어렵고, 오히려 위험함
이런 변경은 보통 사전학습 단계에서만 감히 시도함

👉 결론적으로:

"이 정도로 구조를 바꿨다면 기존 모델을 재활용했을 가능성은 낮다"

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

“아키텍처를 바꿨다고 해서 기존 가중치를 안 썼다고 증명되지는 않는다.”

4.2 제기되는 공격 시나리오

GLM-4.5 Air를 베이스 모델로 사용
LayerNorm은 유지
Embedding / Attention / MoE Router만 재학습
대규모 continued pretraining 수행

👉 이론적으로는 가능하다는 주장

4.3 반대측이 문제 삼는 이유

증거 부족
- 랜덤 초기화 로그 공개 없음
- 학습 초기 loss 곡선 공개 없음
Tokenizer 정보 부재
- 기존 토크나이저 재사용 가능성
코드 계보(lineage)
- GLM-4 HF 구현 기반이라는 점 자체가 의심 요소

5. 두 입장을 나란히 비교

항목	입장 A (from scratch)	입장 B (의심)
아키텍처 변경	매우 큼	변경만으로는 불충분
기존 weight 호환성	거의 없음	부분 재사용 가능성 존재
실무 합리성	재사용이 오히려 비효율	이론적으로 가능
증거 제시	설계 근거 중심	로그·증명 요구

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

입장 A가 훨씬 더 현실적
제안된 partial reuse 시나리오는
- 학습 안정성 낮음
- 비용 대비 이점 거의 없음

👉 실무 관점에서는 from scratch 쪽이 자연스러움

6.2 증명 책임 기준

그러나 입장 B의 지적도 형식적으로는 정당
로그·문서가 없으면
- 100% 증명은 어렵다는 점은 사실

7. 최종 결론 (초보자용 요약)

기술적으로 보면 Solar Open이 from scratch로 학습되었을 가능성이 매우 높다.

다만, 외부에서 100% 확신하려면 더 많은 증거(학습 로그 등)가 필요하다.

즉,

“from scratch라고 말하는 쪽이 더 설득력 있다”
하지만
“완전히 입을 막을 수준의 증명은 아직 아니다”

8. 한 줄 정리

설계 변경만 놓고 보면 from scratch가 맞고, 증명 자료만 놓고 보면 논쟁의 여지는 남아 있다.

(참고) 이 보고서는 ChatGPT 를 통해 생성한 문서로 기술 비전문가도 이해할 수 있도록 의도적으로 수학·코드·논문 수준의 설명을 생략했습니다.

(참고2) 업스테이지에서 어제 급하게 라이선스 업데이트를 했다는데, 라이선스 누락에 대해서는 "마감이 31일까지라서 급하게 한다고 누락했다" 라고 해명했다고 합니다.

https://huggingface.co/upstage/Solar-Open-100B/commit/ff17f06fd5fca37ad584042872a1affb3a8f0b7c

결과적으로 오픈 소스를 사용했는데 이에 대한 라이선스를 정확하게 명시하지 않은 것은 크게 비판 받고 있는 양상이고, 학습은 자체적으로 했다는 것을 인정하는 추이인 것 같습니다.

다만 국가대표AI 의 기준에 '자체적인 아키텍처' 라는 표현이 있어서 이 해석에 따라 오픈소스를 그대로 쓴 것이 결격 사유가 될 것이냐가 새로운 논쟁거리라고 하네요.

LLM `from scratch` 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

기존에 학습된 모델의 가중치(weight)를 전혀 사용하지 않고
모든 가중치를 랜덤 상태에서 시작해 처음부터 학습하는 것

👉 중요한 점:

코드(설계)는 오픈소스를 써도 상관없고, 가중치를 가져왔는지가 핵심 기준이다.

2.2 헷갈리기 쉬운 용어

용어	의미	from scratch인가?
Fine-tuning	기존 모델에 살짝 추가 학습	❌
Continued pretraining	기존 모델을 더 오래 학습	❌
Partial reuse	일부 가중치만 재사용	❌
From scratch	가중치 0부터 전체 학습	✅

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

Solar Open 모델은 다음과 같은 큰 구조 변경을 포함한다:

Hybrid MoE (깊이 의존 구조)
- 기존 GLM-4와 다른 전문가 선택 방식
- Router 로직을 새로 설계함
RoPE 전략 변경
- GLM-4 방식 → LLaMA 방식
- 위치 인코딩 계산 방식이 완전히 다름
Normalization 구조 변경
- 단순화 + 선택적 QK normalization

3.2 왜 이게 중요하다고 보는가?

기존 GLM-4 가중치와 구조적으로 맞지 않음
기존 weight를 그대로 쓰기 어렵고, 오히려 위험함
이런 변경은 보통 사전학습 단계에서만 감히 시도함

👉 결론적으로:

"이 정도로 구조를 바꿨다면 기존 모델을 재활용했을 가능성은 낮다"

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

“아키텍처를 바꿨다고 해서 기존 가중치를 안 썼다고 증명되지는 않는다.”

4.2 제기되는 공격 시나리오

GLM-4.5 Air를 베이스 모델로 사용
LayerNorm은 유지
Embedding / Attention / MoE Router만 재학습
대규모 continued pretraining 수행

👉 이론적으로는 가능하다는 주장

4.3 반대측이 문제 삼는 이유

증거 부족
- 랜덤 초기화 로그 공개 없음
- 학습 초기 loss 곡선 공개 없음
Tokenizer 정보 부재
- 기존 토크나이저 재사용 가능성
코드 계보(lineage)
- GLM-4 HF 구현 기반이라는 점 자체가 의심 요소

5. 두 입장을 나란히 비교

항목	입장 A (from scratch)	입장 B (의심)
아키텍처 변경	매우 큼	변경만으로는 불충분
기존 weight 호환성	거의 없음	부분 재사용 가능성 존재
실무 합리성	재사용이 오히려 비효율	이론적으로 가능
증거 제시	설계 근거 중심	로그·증명 요구

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

입장 A가 훨씬 더 현실적
제안된 partial reuse 시나리오는
- 학습 안정성 낮음
- 비용 대비 이점 거의 없음

👉 실무 관점에서는 from scratch 쪽이 자연스러움

6.2 증명 책임 기준

그러나 입장 B의 지적도 형식적으로는 정당
로그·문서가 없으면
- 100% 증명은 어렵다는 점은 사실

7. 최종 결론 (초보자용 요약)

기술적으로 보면 Solar Open이 from scratch로 학습되었을 가능성이 매우 높다.

다만, 외부에서 100% 확신하려면 더 많은 증거(학습 로그 등)가 필요하다.

즉,

“from scratch라고 말하는 쪽이 더 설득력 있다”
하지만
“완전히 입을 막을 수준의 증명은 아직 아니다”

8. 한 줄 정리

설계 변경만 놓고 보면 from scratch가 맞고, 증명 자료만 놓고 보면 논쟁의 여지는 남아 있다.

(참고) 이 보고서는 ChatGPT 를 통해 생성한 문서로 기술 비전문가도 이해할 수 있도록 의도적으로 수학·코드·논문 수준의 설명을 생략했습니다.

https://huggingface.co/upstage/Solar-Open-100B/commit/ff17f06fd5fca37ad584042872a1affb3a8f0b7c

LLM `from scratch` 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

기존에 학습된 모델의 가중치(weight)를 전혀 사용하지 않고
모든 가중치를 랜덤 상태에서 시작해 처음부터 학습하는 것

👉 중요한 점:

코드(설계)는 오픈소스를 써도 상관없고, 가중치를 가져왔는지가 핵심 기준이다.

2.2 헷갈리기 쉬운 용어

용어	의미	from scratch인가?
Fine-tuning	기존 모델에 살짝 추가 학습	❌
Continued pretraining	기존 모델을 더 오래 학습	❌
Partial reuse	일부 가중치만 재사용	❌
From scratch	가중치 0부터 전체 학습	✅

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

Solar Open 모델은 다음과 같은 큰 구조 변경을 포함한다:

Hybrid MoE (깊이 의존 구조)
- 기존 GLM-4와 다른 전문가 선택 방식
- Router 로직을 새로 설계함
RoPE 전략 변경
- GLM-4 방식 → LLaMA 방식
- 위치 인코딩 계산 방식이 완전히 다름
Normalization 구조 변경
- 단순화 + 선택적 QK normalization

3.2 왜 이게 중요하다고 보는가?

기존 GLM-4 가중치와 구조적으로 맞지 않음
기존 weight를 그대로 쓰기 어렵고, 오히려 위험함
이런 변경은 보통 사전학습 단계에서만 감히 시도함

👉 결론적으로:

"이 정도로 구조를 바꿨다면 기존 모델을 재활용했을 가능성은 낮다"

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

“아키텍처를 바꿨다고 해서 기존 가중치를 안 썼다고 증명되지는 않는다.”

4.2 제기되는 공격 시나리오

GLM-4.5 Air를 베이스 모델로 사용
LayerNorm은 유지
Embedding / Attention / MoE Router만 재학습
대규모 continued pretraining 수행

👉 이론적으로는 가능하다는 주장

4.3 반대측이 문제 삼는 이유

증거 부족
- 랜덤 초기화 로그 공개 없음
- 학습 초기 loss 곡선 공개 없음
Tokenizer 정보 부재
- 기존 토크나이저 재사용 가능성
코드 계보(lineage)
- GLM-4 HF 구현 기반이라는 점 자체가 의심 요소

5. 두 입장을 나란히 비교

항목	입장 A (from scratch)	입장 B (의심)
아키텍처 변경	매우 큼	변경만으로는 불충분
기존 weight 호환성	거의 없음	부분 재사용 가능성 존재
실무 합리성	재사용이 오히려 비효율	이론적으로 가능
증거 제시	설계 근거 중심	로그·증명 요구

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

입장 A가 훨씬 더 현실적
제안된 partial reuse 시나리오는
- 학습 안정성 낮음
- 비용 대비 이점 거의 없음

👉 실무 관점에서는 from scratch 쪽이 자연스러움

6.2 증명 책임 기준

그러나 입장 B의 지적도 형식적으로는 정당
로그·문서가 없으면
- 100% 증명은 어렵다는 점은 사실

7. 최종 결론 (초보자용 요약)

기술적으로 보면 Solar Open이 from scratch로 학습되었을 가능성이 매우 높다.

다만, 외부에서 100% 확신하려면 더 많은 증거(학습 로그 등)가 필요하다.

즉,

“from scratch라고 말하는 쪽이 더 설득력 있다”
하지만
“완전히 입을 막을 수준의 증명은 아직 아니다”

8. 한 줄 정리

설계 변경만 놓고 보면 from scratch가 맞고, 증명 자료만 놓고 보면 논쟁의 여지는 남아 있다.

(참고) 이 보고서는 ChatGPT 를 통해 생성한 문서로 기술 비전문가도 이해할 수 있도록 의도적으로 수학·코드·논문 수준의 설명을 생략했습니다.

https://huggingface.co/upstage/Solar-Open-100B/commit/ff17f06fd5fca37ad584042872a1affb3a8f0b7c

LLM `from scratch` 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

기존에 학습된 모델의 가중치(weight)를 전혀 사용하지 않고
모든 가중치를 랜덤 상태에서 시작해 처음부터 학습하는 것

👉 중요한 점:

코드(설계)는 오픈소스를 써도 상관없고, 가중치를 가져왔는지가 핵심 기준이다.

2.2 헷갈리기 쉬운 용어

용어	의미	from scratch인가?
Fine-tuning	기존 모델에 살짝 추가 학습	❌
Continued pretraining	기존 모델을 더 오래 학습	❌
Partial reuse	일부 가중치만 재사용	❌
From scratch	가중치 0부터 전체 학습	✅

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

Solar Open 모델은 다음과 같은 큰 구조 변경을 포함한다:

Hybrid MoE (깊이 의존 구조)
- 기존 GLM-4와 다른 전문가 선택 방식
- Router 로직을 새로 설계함
RoPE 전략 변경
- GLM-4 방식 → LLaMA 방식
- 위치 인코딩 계산 방식이 완전히 다름
Normalization 구조 변경
- 단순화 + 선택적 QK normalization

3.2 왜 이게 중요하다고 보는가?

기존 GLM-4 가중치와 구조적으로 맞지 않음
기존 weight를 그대로 쓰기 어렵고, 오히려 위험함
이런 변경은 보통 사전학습 단계에서만 감히 시도함

👉 결론적으로:

"이 정도로 구조를 바꿨다면 기존 모델을 재활용했을 가능성은 낮다"

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

“아키텍처를 바꿨다고 해서 기존 가중치를 안 썼다고 증명되지는 않는다.”

4.2 제기되는 공격 시나리오

GLM-4.5 Air를 베이스 모델로 사용
LayerNorm은 유지
Embedding / Attention / MoE Router만 재학습
대규모 continued pretraining 수행

👉 이론적으로는 가능하다는 주장

4.3 반대측이 문제 삼는 이유

증거 부족
- 랜덤 초기화 로그 공개 없음
- 학습 초기 loss 곡선 공개 없음
Tokenizer 정보 부재
- 기존 토크나이저 재사용 가능성
코드 계보(lineage)
- GLM-4 HF 구현 기반이라는 점 자체가 의심 요소

5. 두 입장을 나란히 비교

항목	입장 A (from scratch)	입장 B (의심)
아키텍처 변경	매우 큼	변경만으로는 불충분
기존 weight 호환성	거의 없음	부분 재사용 가능성 존재
실무 합리성	재사용이 오히려 비효율	이론적으로 가능
증거 제시	설계 근거 중심	로그·증명 요구

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

입장 A가 훨씬 더 현실적
제안된 partial reuse 시나리오는
- 학습 안정성 낮음
- 비용 대비 이점 거의 없음

👉 실무 관점에서는 from scratch 쪽이 자연스러움

6.2 증명 책임 기준

그러나 입장 B의 지적도 형식적으로는 정당
로그·문서가 없으면
- 100% 증명은 어렵다는 점은 사실

7. 최종 결론 (초보자용 요약)

기술적으로 보면 Solar Open이 from scratch로 학습되었을 가능성이 매우 높다.

다만, 외부에서 100% 확신하려면 더 많은 증거(학습 로그 등)가 필요하다.

즉,

“from scratch라고 말하는 쪽이 더 설득력 있다”
하지만
“완전히 입을 막을 수준의 증명은 아직 아니다”

8. 한 줄 정리

설계 변경만 놓고 보면 from scratch가 맞고, 증명 자료만 놓고 보면 논쟁의 여지는 남아 있다.

(참고) 이 보고서는 ChatGPT 를 통해 생성한 문서로 기술 비전문가도 이해할 수 있도록 의도적으로 수학·코드·논문 수준의 설명을 생략했습니다.

https://huggingface.co/upstage/Solar-Open-100B/commit/ff17f06fd5fca37ad584042872a1affb3a8f0b7c

[보고서] Solar Open 모델이 정말 from scratch로 학습되었는가? 논쟁 정리 보고서 (초보자용) - 과연 캐삭빵의 결과는?

LLM from scratch 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

2.2 헷갈리기 쉬운 용어

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

3.2 왜 이게 중요하다고 보는가?

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

4.2 제기되는 공격 시나리오

4.3 반대측이 문제 삼는 이유

5. 두 입장을 나란히 비교

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

6.2 증명 책임 기준

7. 최종 결론 (초보자용 요약)

8. 한 줄 정리

답변 1개

[보고서] Solar Open 모델이 정말 from scratch로 학습되었는가? 논쟁 정리 보고서 (초보자용) - 과연 캐삭빵의 결과는?

LLM from scratch 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

2.2 헷갈리기 쉬운 용어

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

3.2 왜 이게 중요하다고 보는가?

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

4.2 제기되는 공격 시나리오

4.3 반대측이 문제 삼는 이유

5. 두 입장을 나란히 비교

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

6.2 증명 책임 기준

7. 최종 결론 (초보자용 요약)

8. 한 줄 정리

답변 1개

[보고서] Solar Open 모델이 정말 from scratch로 학습되었는가? 논쟁 정리 보고서 (초보자용) - 과연 캐삭빵의 결과는?

LLM from scratch 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

2.2 헷갈리기 쉬운 용어

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

3.2 왜 이게 중요하다고 보는가?

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

4.2 제기되는 공격 시나리오

4.3 반대측이 문제 삼는 이유

5. 두 입장을 나란히 비교

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

6.2 증명 책임 기준

7. 최종 결론 (초보자용 요약)

8. 한 줄 정리

답변 1개

[보고서] Solar Open 모델이 정말 from scratch로 학습되었는가? 논쟁 정리 보고서 (초보자용) - 과연 캐삭빵의 결과는?

LLM from scratch 논쟁 정리 보고서 (초보자용)

1. 이 보고서의 목적

2. 핵심 개념 먼저 이해하기

2.1 from scratch란?

2.2 헷갈리기 쉬운 용어

3. 입장 A: “from scratch가 맞다”는 주장

3.1 이들이 보는 핵심 근거

3.2 왜 이게 중요하다고 보는가?

4. 입장 B: “from scratch라고 단정할 수 없다”는 주장

4.1 반대측의 핵심 의심

4.2 제기되는 공격 시나리오

4.3 반대측이 문제 삼는 이유

5. 두 입장을 나란히 비교

6. 중립적 평가: 누구 말이 더 옳은가?

6.1 기술적 개연성 기준

6.2 증명 책임 기준

7. 최종 결론 (초보자용 요약)

8. 한 줄 정리

답변 1개

LLM `from scratch` 논쟁 정리 보고서 (초보자용)

LLM `from scratch` 논쟁 정리 보고서 (초보자용)

LLM `from scratch` 논쟁 정리 보고서 (초보자용)

LLM `from scratch` 논쟁 정리 보고서 (초보자용)