🔚 요약

✔ 클로드가 사용자 의도 완전 해결 1위
✔ 챗GPT는 빠른 응답·복수 의도 처리 강점
✔ 퍼플렉시티는 다양한 출처 활용
✔ 그록은 소수 출처에 집중
✔ 실제 사용 기반 대규모 비교 연구 최초 사례

---

🧾 논문 개요

• 제목: SHARECHAT: A Dataset of Chatbot Conversations in the Wild
• 저자: Yueru Yan, Tuc Nguyen, Bo Su, Melissa Lieffers, Thai Le (Indiana University)
• 주제: 실제 사용자-챗봇 대화 로그를 플랫폼별로 수집·분석한 대규모 대화 데이터셋 구축과 분석.
• 데이터는 142,808개 대화, 660,000+ 턴, 5개 플랫폼(챗GPT, 클로드, 제미나이, 퍼플렉시티, 그록), 101개 언어를 포함.

---

논문: https://share.google/a2sADSopQEEWNphJ8

기사: https://share.google/VOPV7neqDVrA5PE7s

---

📦 데이터셋 구성

🟢 수집 방식

• 사용자가 직접 공유한 챗봇 URL을 사후 수집 → 자연적 사용자 행동을 보존.
• 메타데이터도 함께 보관(타임스탬프, 소스 링크, 추론 과정 등이 가능한 경우 포함).
• 사용자 **개인식별정보(PII)**는 자동 익명 처리.

🧱 포함 내용

• 대화 턴 전체, 질문/응답, 플랫폼별 메타데이터
• 챗봇 응답의 소스 출처 링크, 추론/생각 블록 등 플랫폼 특성 정보.

---

📊 기본 통계 및 특징

가장 많은 비중: ChatGPT (대부분)

※ 기존 공개 데이터셋 대비 대화가 훨씬 길고 다양함.

---

📌 주요 분석 및 결과

🧠 1) 대화 완결성 분석

• 사용자 의도를 얼마나 잘 해결했는지 평가.
• 챗GPT, 클로드: 가장 높은 완전성 비율(완전 해결 많음).
• 제미나이·그록: 더 많은 “부분/불완전” 응답.
• 퍼플렉시티: “부분 답변” 비율 높음 → 정보 검색 성격 반영.

📚 2) 응답 소스 출처 분석

• Grok: 주로 소셜 미디어(X)를 소스로 활용 → 편향·노이즈 가능성.
• Perplexity: 광범위한 외부 도메인 참고(Wikipedia 등).
  → 플랫폼마다 정보집적 전략이 뚜렷하게 다름.

⏱️ 3) 시간/응답 속도 분석

• ChatGPT: 대화가 길어질수록 응답 시간이 빨라지는 경향.
• Grok: 반대로, 턴이 길어지면 모델 응답 지연 증가.
  → 모델 구조와 서버 처리 전략의 차이가 반영된 결과.

☣️ 4) 독성/안전성 분석

• 전체 대화에서의 독성률이 기존 공개 데이터보다 낮음.
• Claude: 사용자 메시지 독성 비율이 다소 높게 나옴.
• Perplexity: 상대적으로 낮은 독성률.

🗂️ 5) 주제 분류 분석

• 사용자 요청은 정보 검색(≈40%)이 가장 많음.
• 기술 지원, 글쓰기, 실용 조언 등 실제 사용 목적 다양함.

---

🔍 플랫폼별 특징 종합

---

🧩 논문의 기여

✔ 자연스러운 실제 사용자 대화 데이터를 플랫폼 여러 개에 걸쳐 수집.
✔ 단순 정답률 비교를 넘는 대화 완결성, 응답 소스, 시간 분석 등 깊이 있는 측정.
✔ 연구·제품 개선을 위한 대규모 공개 자원 제공.

---

📌 한계 및 윤리

• Self-Selection Bias: 공개 공유된 대화만 수집 → 성공적/공유 가능한 대화 편중 가능.
• 플랫폼 간 데이터 불균형 존재 (ChatGPT 대표성 큼).
• 자동 평가는 사람 주관 만족도와 완전 일치하지 않을 수 있음.

---

🧠 결론 (기사 요약 보완)

• 논문 기반으로 보면 기존 기사에 있던 “챗봇 성능 순위” 평가가 대화 완결성 및 플랫폼 특성 분석과 연결됨.
• 특히 SHARECHAT의 대화 길이·맥락 보존 덕분에 단순 Q&A 정확도보다 심화된 실사용 이해 지표를 제공한다는 점이 중요.

🔚 요약

✔ 클로드가 사용자 의도 완전 해결 1위
✔ 챗GPT는 빠른 응답·복수 의도 처리 강점
✔ 퍼플렉시티는 다양한 출처 활용
✔ 그록은 소수 출처에 집중
✔ 실제 사용 기반 대규모 비교 연구 최초 사례

---

🧾 논문 개요

• 제목: SHARECHAT: A Dataset of Chatbot Conversations in the Wild
• 저자: Yueru Yan, Tuc Nguyen, Bo Su, Melissa Lieffers, Thai Le (Indiana University)
• 주제: 실제 사용자-챗봇 대화 로그를 플랫폼별로 수집·분석한 대규모 대화 데이터셋 구축과 분석.
• 데이터는 142,808개 대화, 660,000+ 턴, 5개 플랫폼(챗GPT, 클로드, 제미나이, 퍼플렉시티, 그록), 101개 언어를 포함.

---

논문: https://share.google/a2sADSopQEEWNphJ8

기사: https://share.google/VOPV7neqDVrA5PE7s

---

📦 데이터셋 구성

🟢 수집 방식

• 사용자가 직접 공유한 챗봇 URL을 사후 수집 → 자연적 사용자 행동을 보존.
• 메타데이터도 함께 보관(타임스탬프, 소스 링크, 추론 과정 등이 가능한 경우 포함).
• 사용자 **개인식별정보(PII)**는 자동 익명 처리.

🧱 포함 내용

• 대화 턴 전체, 질문/응답, 플랫폼별 메타데이터
• 챗봇 응답의 소스 출처 링크, 추론/생각 블록 등 플랫폼 특성 정보.

---

📊 기본 통계 및 특징

가장 많은 비중: ChatGPT (대부분)

※ 기존 공개 데이터셋 대비 대화가 훨씬 길고 다양함.

---

📌 주요 분석 및 결과

🧠 1) 대화 완결성 분석

• 사용자 의도를 얼마나 잘 해결했는지 평가.
• 챗GPT, 클로드: 가장 높은 완전성 비율(완전 해결 많음).
• 제미나이·그록: 더 많은 “부분/불완전” 응답.
• 퍼플렉시티: “부분 답변” 비율 높음 → 정보 검색 성격 반영.

📚 2) 응답 소스 출처 분석

• Grok: 주로 소셜 미디어(X)를 소스로 활용 → 편향·노이즈 가능성.
• Perplexity: 광범위한 외부 도메인 참고(Wikipedia 등).
  → 플랫폼마다 정보집적 전략이 뚜렷하게 다름.

⏱️ 3) 시간/응답 속도 분석

• ChatGPT: 대화가 길어질수록 응답 시간이 빨라지는 경향.
• Grok: 반대로, 턴이 길어지면 모델 응답 지연 증가.
  → 모델 구조와 서버 처리 전략의 차이가 반영된 결과.

☣️ 4) 독성/안전성 분석

• 전체 대화에서의 독성률이 기존 공개 데이터보다 낮음.
• Claude: 사용자 메시지 독성 비율이 다소 높게 나옴.
• Perplexity: 상대적으로 낮은 독성률.

🗂️ 5) 주제 분류 분석

• 사용자 요청은 정보 검색(≈40%)이 가장 많음.
• 기술 지원, 글쓰기, 실용 조언 등 실제 사용 목적 다양함.

---

🔍 플랫폼별 특징 종합

---

🧩 논문의 기여

✔ 자연스러운 실제 사용자 대화 데이터를 플랫폼 여러 개에 걸쳐 수집.
✔ 단순 정답률 비교를 넘는 대화 완결성, 응답 소스, 시간 분석 등 깊이 있는 측정.
✔ 연구·제품 개선을 위한 대규모 공개 자원 제공.

---

📌 한계 및 윤리

• Self-Selection Bias: 공개 공유된 대화만 수집 → 성공적/공유 가능한 대화 편중 가능.
• 플랫폼 간 데이터 불균형 존재 (ChatGPT 대표성 큼).
• 자동 평가는 사람 주관 만족도와 완전 일치하지 않을 수 있음.

---

🧠 결론 (기사 요약 보완)

• 논문 기반으로 보면 기존 기사에 있던 “챗봇 성능 순위” 평가가 대화 완결성 및 플랫폼 특성 분석과 연결됨.
• 특히 SHARECHAT의 대화 길이·맥락 보존 덕분에 단순 Q&A 정확도보다 심화된 실사용 이해 지표를 제공한다는 점이 중요.