🚀Understanding Wikidata -무료료 wiki 데이터 활용하기!!

---

🚀 Understanding Wikidata - 무료로 Wiki 데이터 활용하기!!

Wikidata는 위키미디어 재단이 운영하는 자유 지식 그래프(Open Knowledge Graph)입니다.
전 세계 인물, 장소, 개념 등에 대한 정보를 구조화된 방식으로 제공합니다.

🧠 “GPT가 사용하는 세계 지식, 우리도 무료로 쓸 수 있을까?”
👉 그 답이 바로 Wikidata + SPARQL 조합입니다!

---

📌 Wikidata란?

• 위키백과의 데이터 버전
• 전 세계 개체(Entity)들의 속성(Property)과 값(Value)이 정리된 거대한 DB
• 예시:
  • Q937 = Albert Einstein
  • P31 = instance of
  • Q5 = human
    → 즉, “Q937은 Q5(human)의 인스턴스(P31)이다”

---

🛠️ SPARQL로 데이터 질의하기

SPARQL은 RDF 기반 데이터베이스를 위한 쿼리 언어입니다.
Wikidata는 자체 SPARQL endpoint를 운영합니다.

▶ 기본 예제: 아인슈타인의 생년월일 찾기

SELECT ?person ?personLabel ?birthDate WHERE {
  ?person wdt:P31 wd:Q5;  # 인간
          rdfs:label "Albert Einstein"@en;
          wdt:P569 ?birthDate.  # 생년
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
LIMIT 1

▶ 파이썬 코드로의 기본 예제: 아인슈타인의 생년월일 찾기

import requests

query = """
SELECT ?person ?personLabel ?birthDate WHERE {
  ?person wdt:P31 wd:Q5;
          rdfs:label "Albert Einstein"@en;
          wdt:P569 ?birthDate.
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
}
LIMIT 1
"""

url = "https://query.wikidata.org/sparql"
headers = {"Accept": "application/sparql-results+json"}
response = requests.get(url, headers=headers, params={"query": query})

data = response.json()
for result in data["results"]["bindings"]:
    print(result["personLabel"]["value"], "-", result["birthDate"]["value"])

결과는!? Albert Einstein - 1879-03-14T00:00:00Z

---

🌐 어떤 데이터까지 얻을 수 있나요?

Wikidata는 위키백과의 구조화된 백엔드로, 다음과 같은 다양한 데이터를 제공합니다:

• 👤 인물 정보: 생년월일, 직업, 국적, 업적 등
• 🗺️ 국가 및 지리 정보: 수도, 인구 수, 위치, 국가코드
• 🎬 영화 정보: 감독, 개봉일, 배우 목록, 제작국가
• 📐 학술 개념: 수학 공식, 과학 이론, 역사적 사건, 문화재
• 🧪 과학 데이터: 화학 물질, 생물 종, 유전자 정보 등

👉 위키백과에 요약 정보로 보이는 대부분의 structured data는 Wikidata에 존재합니다.

---

✅ 왜 유용한가?

이유	설명
💸 무료	CC0 라이선스 → 상업적 활용 가능
🌍 다국어	300+ 언어 라벨 제공 (ex. 한국어, 영어 등)
🔗 연결성	개체(Entity) 간 관계(RDF triple)로 연결됨
⚡ 빠름	SQL이 아닌 SPARQL → 원하는 관계형 쿼리 가능
🤖 AI 활용	LLM 전처리, RAG 문서 생성, 지식 기반 구축에 최적

---

❗ 단점은?

Wikidata는 강력한 오픈 지식 그래프이지만, 아래와 같은 제약도 존재합니다:

특하 SPARQL은 너무 어려워보여요!!

한계	설명
🧹 정보 정확도	누구나 편집 가능 → 일부 정보는 오류 또는 검증 부족
🔍 데이터 누락	특히 비영어권이나 최신 정보의 반영이 늦을 수 있음
💬 비정형 정보 부족	설명형 문장이나 상세한 서술은 포함되지 않음 (→ Wikipedia 참고 필요)
📚 SPARQL 러닝커브	쿼리 언어가 생소할 수 있음 (→ 학습 필요)
📦 정보 갱신 주기	API를 통해 실시간 편집 정보는 반영되지만, 배치처리 기반 활용 시 지연 가능

단점을 해결하기!!! - LLM와 연결해서 자동으로 SQLRQL을 짜버려요!!

파이썬으로 예씨!!

import requests
import json
import openai

openai_client = openai.OpenAI()

user_q = "수학자 아인슈타인의 생일은 언제야?"
prompt = f"""
You are a SPARQL expert. Convert the following user question into a valid SPARQL query using Wikidata schema. 
Only return the query in SPARQL syntax.

Question: "{user_q}"
"""

response = openai_client.chat.completions.create(
model="gpt-4o-mini",  # You can use "gpt-4" or "gpt-3.5-turbo"
messages=[
    {"role": "user", "content": prompt}
],
max_tokens=150,
temperature=0.7
)
query = response.choices[0].message.content.strip()
query = query.replace('```','').split('sparql')[-1]
print(f"Generated Query : {query}")
# 2. SPARQL 쿼리를 Wikidata에 전송

url = "https://query.wikidata.org/sparql"
headers = {"Accept": "application/sparql-results+json"}
response = requests.get(url, headers=headers, params={"query": query})
data = response.json()

# 3. 결과 출력
bindings = data["results"]["bindings"]
result_lines = []
for b in bindings:
    line = " · ".join([f"{k}: {v['value']}" for k, v in b.items()])
    result_lines.append(line)
print("FINAL RESULTS")
print("\n".join(result_lines))

---

✨ 마무리

• “크롤링 없이, 전 세계 지식 그래프를 다루는 법!”
• 바로 Wikidata + SPARQL 조합으로 가능합니다.
• llm이랑 연결시키면!! wiki에서 지식을 찾아서 정확한 답변이 가능해요!!

---