AI 트렌드 — 현재와 방향: 종합 개요

현대 AI의 근간은 트랜스포머 아키텍처다. 2017년 "Attention Is All You Need" 논문에서 Google Brain이 제안한 이 구조는, 단어를 순서대로 처리하던 기존 RNN·LSTM의 한계를 병렬 처리로 돌파했다. 핵심 메커니즘은 셀프 어텐션(Self-Attention)으로, "이 단어가 저 단어와 얼마나 관련 있는가?"라는 질문에 문장 내 모든 단어 쌍에 대해 동시에 답한다. 예컨대 "나는 어제 사과를 맛있게 먹었다"라는 문장에서 "먹었다"는 "사과를"과 "나는"을 동시에 참조하며 장거리 의존성을 학습한다.

트랜스포머가 혁명적인 이유는 또 하나 있다. 범용성이다. 텍스트(단어 시퀀스), 이미지(픽셀 패치), 음성(스펙트로그램), 영상(시공간 패치)—어떤 데이터든 시퀀스로 표현할 수 있으면 동일한 어텐션 구조가 작동한다. 이 병렬 처리 가능성과 범용성이 곧 스케일링 법칙(Scaling Laws)의 물질적 토대가 되었다. [AI 트렌드 — 현재와 방향.md]

트랜스포머가 실제로 텍스트를 생성하는 과정은 GPT 추론 파이프라인으로 설명된다. 입력 텍스트를 토큰으로 분해(토크나이징)→각 토큰을 수천 차원 벡터 공간에 배치(임베딩)→셀프 어텐션으로 문맥 파악→전체 어휘에 대한 확률 분포 생성(Softmax)→확률에 따라 다음 토큰 선택(샘플링)의 5단계가 자기회귀적으로 반복된다. 중요한 것은 GPT가 "정답을 안다"는 게 아니라, "가장 그럴듯한 다음 조각을 계속 이어 붙인다"는 점이다. 이 구조적 특성이 이후 서술할 환각 문제의 씨앗이 된다. [AI 트렌드 — 현재와 방향.md]

AI 스케일링 시대 타임라인(2017~현재)은 세 챕터로 구분된다. 첫 번째는 2017~2022년의 '스케일링의 시대'로, 스케일링 법칙(Scaling Laws)—모델 파라미터·데이터·연산량을 늘릴수록 성능이 예측 가능하게 향상된다는 경험적 원칙—이 AI 개발의 핵심 가설로 자리잡은 시기다. GPT-1(117M, 2018)에서 시작해 BERT(340M), GPT-3(175B, 2020)에 이르기까지 4년 만에 파라미터 수가 1,500배 증가했고, 이는 스케일링 법칙의 위력을 상징적으로 보여줬다. 2022년 InstructGPT는 RLHF(인간 피드백 강화학습)를 도입해 모델 출력을 인간의 선호에 맞게 정렬하는 기법을 실증했으며, 이것이 ChatGPT의 직접적 전신이 되었다.

두 번째 챕터는 2022~2024년의 '레이스 공개' 시기다. 2022년 11월 ChatGPT가 5일 만에 100만, 2개월 만에 1억 사용자를 돌파하며 AI의 가능성을 대중에 완전히 드러냈다. 2023년 GPT-4(~1T 파라미터 추정)는 스케일링의 정점이었다. 그러나 동시에 분기점이었다. "더 키워도 성능이 기대만큼 오르지 않는다"는 The Silent Consensus—업계 내부의 조용한 합의—가 형성되기 시작했다. GPT-5 출시의 반복적 지연은 이를 방증한다. 같은 해 Meta의 Llama 2 오픈소스 공개는 "AI는 빅테크만 만든다"는 공식을 무너뜨렸고, DeepSeek(딥시크)은 이후 극단적 저비용으로 GPT-4급 성능을 달성하며 AI 시장의 패러다임을 흔들었다. [AI 트렌드 — 현재와 방향.md]

AI 기업의 구조적 한계는 단순한 기술적 문제가 아니라, 현재 AI 아키텍처의 근본에서 비롯된 네 가지 문제로 정리된다.

첫째, 환각(Hallucination)이다. GPT 추론의 핵심인 "가장 그럴듯한 다음 토큰 예측" 구조상, 모델은 사실 여부를 검증하는 메커니즘 없이 통계적으로 자연스러운 문장을 생성한다. RAG나 파인튜닝으로 완화할 수 있지만, 현재 아키텍처 안에서 완전히 제거하는 것은 불가능하다.

둘째, 컨텍스트 이해의 한계(Lost in the Middle)다. 셀프 어텐션의 연산 복잡도는 시퀀스 길이의 제곱(O(n²))으로 증가한다. 컨텍스트 윈도우를 길게 늘려도 중간 부분의 정보를 제대로 활용하지 못하는 현상이 발생한다. "길게 넣는 것과 제대로 이해하는 것은 다르다."

셋째, 추론 비용 폭발이다. 추론 시간 스케일링(Test-Time Compute)처럼 더 오래 생각하게 하면 성능은 오르지만 비용도 기하급수적으로 증가한다. 에이전트 시대에는 하나의 작업에 수십 번의 LLM 호출이 발생해, 사용자는 월 20달러를 내는데 인프라 비용이 200달러에 달할 수 있는 구조적 불균형이 심화된다.

넷째, 데이터 고갈이다. 고품질 인터넷 텍스트는 사실상 소진됐고, 합성 데이터에 의존하면 모델 붕괴(Model Collapse) 위험이 존재한다. [AI 트렌드 — 현재와 방향.md]

외계 지능(Alien Intelligence)으로서의 AI라는 개념은 이 노트북 전체에서 가장 도발적인 주장이다. 트랜스포머는 인간의 뇌를 모방한 것이 아니라, 인간이 남긴 거대한 텍스트 속에서 통계적 패턴을 찾는 근본적으로 다른 종류의 지능이라는 것이다.

트랜스포머 vs 인간 지능 비교는 세 축으로 정리된다. 효율성: 인간의 뇌는 20W 에너지로 작동하고 몇 번의 예시만으로 학습하지만, 트랜스포머는 수십 메가와트와 수조 개의 학습 예시가 필요하다. 체화된 인지: 인간은 물리 세계와 상호작용하며 인지가 발달하지만, 트랜스포머는 텍스트의 통계적 확률로만 세상을 인식한다. 양자역학을 완벽히 요약하면서도 "계란 위에 코끼리를 올리면?"이라는 세 살짜리의 물리적 상식에서 무너지는 현상이 이를 단적으로 보여준다. 학습과 추론의 분리: 인간은 실시간으로 학습과 추론이 동시에 진행되지만, 트랜스포머는 학습이 완료되면 가중치가 고정(Frozen)된다. [AI 트렌드 — 현재와 방향.md]

스케일링의 한계에 직면한 AI 업계는 세 번째 챕터—'선회(Pivot)'—에 진입했다. 2024년 9월 OpenAI의 o1 출시가 신호탄이었다. 이는 추론 시간 스케일링(Test-Time Compute)의 대표 사례로, 모델 학습 규모를 키우는 대신 추론 단계에서 더 오래 생각하게 만들어 성능을 끌어올리는 방식이다. 현재 가장 유효한 성능 향상 방법으로 평가되지만, 앞서 언급한 추론 비용 문제라는 새로운 과제를 안고 있다.

두 번째 돌파구는 월드 모델(World Model)이다. 텍스트 패턴 인식을 넘어 물리 법칙·공간 관계·인과 관계를 내부적으로 시뮬레이션하고 이해하는 모델을 지향한다. 자율주행과 로봇 공학 등 Physical AI 구현의 필수 요소로, 클라우드 기반 추론의 레이턴시 한계를 극복하는 온디바이스 AI(On-Device AI)와 결합될 때 그 잠재력이 온전히 발휘된다.

세 번째는 뉴로심볼릭 AI(Neuro-Symbolic AI)다. 신경망의 패턴 인식 능력과 기호 논리의 정확한 추론 능력을 결합하여, 트랜스포머의 환각 문제를 구조적으로 해결하려는 접근이다. "확률로 그럴듯하게 생성"하는 방식이 아닌, 논리적으로 검증된 추론을 목표로 한다.

네 번째는 지속 학습(Continual Learning)이다. 학습이 끝나면 지식이 고정되는 현재 AI의 한계를 극복하여, 새로운 것을 배우면서도 기존 지식을 잊지 않는(치명적 망각 문제 해결) 능력을 목표로 한다. 이것이 실현된다면 모델이 실시간으로 세상을 업데이트하며 학습할 수 있게 되어, AI가 진정한 AGI에 한 발 가까워지는 경로가 될 수 있다. [AI 트렌드 — 현재와 방향.md]

현재 AI 구조의 또 다른 근본적 병목은 클라우드 의존성이다. 모든 추론이 데이터센터 GPU에서 이루어지는 구조는 세 가지 치명적 한계를 낳는다. 비용의 한계(모든 사람의 일상 질문과 센서 데이터를 클라우드로 처리하면 어떤 기업도 파산), 레이턴시의 한계(네트워크 왕복 시간 때문에 실시간 즉각 반응 불가), 프라이버시 한계(로봇 카메라 영상·개인 대화를 24시간 클라우드 전송 불가)가 그것이다. [AI 트렌드 — 현재와 방향.md]

이 한계를 극복하는 경로가 온디바이스 AI(On-Device AI)다. 핵심 기술 경로는 세 갈래다. 첫째, 소형 언어 모델(SLM, Small Language Model)이다. Llama 3.2(1B/3B), Phi-3 Mini 등 스마트폰 메모리(8~16GB)에서 구동 가능한 경량 모델이 급성장하고 있고, 양자화(Quantization) 기술로 맥북에서 70B 모델을 로컬 구동하는 것이 현실화됐다. 둘째, Apple M 시리즈·Qualcomm Snapdragon X Elite 같은 NPU 통합 칩 아키텍처다. CPU·GPU·NPU를 하나로 묶고 메모리를 공유하여 에너지 효율을 극대화한다. 셋째, 비트랜스포머 아키텍처: Mamba & RWKV다. 트랜스포머의 O(n²) 연산 복잡도를 선형(O(n))으로 줄여 메모리 효율이 극도로 높아지므로, 엣지 디바이스의 핵심 아키텍처 후보로 부상하고 있다.

실제 배포 모델로는 Apple Intelligence 방식의 하이브리드 에이전트—로컬 SLM이 화면 인식·단순 대화·로봇 제어를 처리하고, 방대한 지식이 필요할 때만 클라우드 LLM을 호출하는 구조—가 현실적인 전환 경로로 제시된다. 이 전환이 완성되면 반도체 수요의 중심이 소수의 데이터센터 GPU에서 수십억 대의 스마트폰·PC·IoT 기기에 탑재되는 엣지 AI 칩으로 이동하며, "이 시장의 지배자는 엔비디아가 아닐 수 있다"는 전망도 제기된다. [AI 트렌드 — 현재와 방향.md]

기술의 변화는 사회 구조의 변화를 수반한다. 소스는 다섯 가지 흐름을 제시한다.

소프트웨어 개발의 소멸은 AI 코딩 도구가 개발자의 역할 자체를 재정의하고 있음을 가리킨다. 자기 참조 루프(Recursive Self-Improvement)는 모델이 모델을 만드는 구조—인간의 개입 없이 AI가 다음 세대 AI를 설계하고 학습시키는 자기 개선 루프—가 현실화되고 있다는 개념이다. 이는 지속 학습(Continual Learning)과 결합될 때 장기적으로 가장 파괴적인 함의를 가진다. 현실-가상 경계의 붕괴(C2PA 등 콘텐츠 인증 기술의 부상)는 딥페이크와 합성 미디어가 일반화되면서 디지털 신뢰 인프라가 재편되고 있음을 보여준다. 에너지 지정학은 AI 훈련과 추론에 소요되는 막대한 전력 수요가 국제 에너지 패권 경쟁과 맞물리고 있다는 문제다. 마지막으로 핵심 역량의 전환은 AI 시대에 인간에게 요구되는 능력이 "무엇을 실행하는가"에서 "무엇을 원하는지 아는 능력"으로 이동하고 있다는 논점이다. [AI 트렌드 — 현재와 방향.md]

아래는 이 노트북에서 다루는 모든 개념 페이지의 관계 지도다. 각 페이지는 위에서 서술한 큰 흐름의 특정 결절점을 심층적으로 다룬다.

• 기반 기술: 트랜스포머 아키텍처, 셀프 어텐션(Self-Attention), GPT 추론 파이프라인
• 역사와 법칙: 스케일링 법칙(Scaling Laws), AI 스케일링 시대 타임라인(2017~현재), RLHF(인간 피드백 강화학습)
• 한계와 문제: 환각(Hallucination), AI 기업의 구조적 한계, 외계 지능(Alien Intelligence)으로서의 AI, 트랜스포머 vs 인간 지능 비교
• 기술 돌파구: 추론 시간 스케일링(Test-Time Compute), 월드 모델(World Model), 뉴로심볼릭 AI(Neuro-Symbolic AI), 지속 학습(Continual Learning)
• 온디바이스 전환: 온디바이스 AI(On-Device AI), 소형 언어 모델(SLM), 비트랜스포머 아키텍처: Mamba & RWKV
• 사회·미래: 자기 참조 루프(Recursive Self-Improvement), DeepSeek(딥시크), OpenAI
• 소스 문서: AI 트렌드 — 현재와 방향.md