llm-wiki.en.md

Cairni Explore 퍼블리싱용 SEO 초안. LLM Wiki 패턴 전반을 하나의 문서로 정리한다. [llm-wiki.en.md]

LLM Wiki란?

• LLM 에이전트가 소스를 읽고 지속적이고 상호 링크된 Markdown 페이지 컬렉션을 작성·유지하는 지식 베이스 패턴.
• 핵심 전환: 작업을 쿼리 시점이 아닌 수집(ingest) 시점에 수행. 지식이 매번 재생성되지 않고 누적(compound)된다.

기원

• Andrej Karpathy (OpenAI 공동 창업자, Tesla 前 AI 디렉터)가 2026년 GitHub gist(llm-wiki.md)로 공개.
• Vannevar Bush의 Memex(1945) — 연상 트레일이 있는 개인 지식 저장소 — 에서 영감.
• 핵심 비유: *"Obsidian은 IDE, LLM은 프로그래머, 위키는 코드베이스."*

세 가지 레이어

1. 1.Raw sources — 불변(immutable) 원본 자료. LLM이 읽기만 함.
2. 2.The wiki — LLM이 생성·관리하는 Markdown 페이지 디렉터리.
3. 3.The schema — 위키 구조와 워크플로를 정의하는 설정 파일(CLAUDE.md / AGENTS.md).

세 가지 운영 작업

• Ingest: 소스 추가 → 요약 페이지 작성, 관련 페이지 갱신, 인덱스 업데이트, 로그 기록 (1개 소스가 10–15개 페이지에 영향 가능).
• Query: 질문 → 관련 페이지 탐색·합성·인용. 좋은 답변은 새 페이지로 저장 가능.
• Lint: 주기적 건강 검진 — 모순, 오래된 주장, 고아 페이지, 누락 링크 탐지.

탐색 파일

• index.md: 카테고리별 페이지 카탈로그. 수백 페이지 규모에서 임베딩 없이도 라우팅 가능.
• log.md: 수집·쿼리·린트의 시간순 기록.

LLM Wiki vs RAG 비교

• 2026년 기준 기업용 AI 앱의 약 85%가 RAG 사용.
• RAG 구현의 40–60%가 프로덕션 도달 실패.
• 일부 구현에서 에이전트 컨텍스트 효율이 최대 ~70× 향상 주장 (개인 규모 기준).

지식이 누적되는 이유

• 출처(Provenance): 모든 주장이 불변 원본 소스에 링크됨.
• 크로스링크: wikilinks로 페이지 간 연결. 백링크·그래프는 자동 계산.
• 합성의 누적: 더 많은 소스 → 더 깊은 답변.

생태계 도구

• Obsidian: 인간 독자용 Markdown 뷰어, 그래프 뷰, Web Clipper.
• Claude Code (또는 Codex, OpenCode): 컴파일·유지 담당 에이전트.
• qmd (Shopify CEO Tobi Lütke 제작): BM25 + 로컬 벡터 임베딩 + LLM 재랭킹 기반 온디바이스 Markdown 검색 엔진.
• 오픈소스 구현체 다수 (Karpathy gist 직접 인용).
• 본질적으로 git 저장소(Markdown 파일) — 버전 히스토리·브랜치·협업 제공.

한계

• 규모: ~1,000 파일 초과 시 실질적 검색 인프라 필요.
• 기본적으로 단일 사용자(싱글플레이어).
• 에이전트·스키마·검색 도구·백업 직접 구성 필요.
• 신뢰도 점수나 인간 검토 루프 없음 → 잘못된 합성이 전파될 수 있음.

관리형 서비스: Cairni

• Karpathy 패턴을 호스팅 서비스로 구현. 제로 설정, 팀 워크스페이스, 접근 제어, 승인 큐, 버전 히스토리, 퍼블릭 퍼블리싱 제공.

• Andrej Karpathy (gist 저자)
• Vannevar Bush (Memex, 1945)
• Tobi Lütke (qmd 제작자)
• Obsidian, Claude Code, qmd, Cairni