Weekly AI Papers — 2026-07-20

🤖 "AI가 긴 시간 동안 풀 수 있는 문제를 평가하는 게 진짜로 가능할까?"

Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: long-horizon, terminal benchmark, dense reward, agent evaluation, iterative debugging

💭 이런 질문을 해본 적 있나요?

• “AI가 10분 안에 끝내는 문제만 평가하면, 진짜 실력은 어떻게 측정해?”
• “실험을 반복하거나 코드를 수정하는 과정도 평가에 포함돼야 하는데, 왜 지금은 안 되지?”
• “AI가 ‘결과만 맞아도 OK’인 평가에서 얼마나 진짜 실력을 보여줄 수 있을까?”

[핵심 설명: 기존에는 단시간 완료형 테스크만 평가했고, 중간 과정은 무시됐는데, 이 논문은 46개의 장시간 테스크를 정교하게 분해해 중간 성과까지 평가하는 방식으로 뒤집었습니다.]

특히 주목할 점:

• 15개의 최신 AI 모델 평가에서 평균 9.9M 토큰을 소모하고, 231 에피소드와 85.3분의 실행 시간이 필요함
• 가장 강력한 모델도 0.95의 부분 보상 임계값에서 15.2%의 pass@1 성과를 달성했으며, 완전 보상 임계값(1.0)에서는 10.9%로, 평균 모델은 각각 4.3%와 1.7%에 불과함

🎯 왜 이것이 게임 체인저인가? :

“결과만 맞으면 성공” → “중간 과정까지 평가하고, 반복·보정·조정을 모두 인정하는 진짜 장기 작업 평가”

📖 “AI 에이전트가 진짜 잘 작동하는 건, 코드가 깔끔해서가 아니라 ‘어디서 어떻게 바꿔야 할지’를 알아야 해요.”

Harness Handbook: Making Evolving Agent Harnesses Readable, Navigable, and Editable

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: behavior localization, agent harness, LLM-assisted code structuring, progressive disclosure, code search

💭 이런 질문을 해본 적 있나요?

• “이 기능이 뭐 어디에 있는지 찾기 힘들어… 코드 전체 뒤져야 할까?”
• “수정 요청이 왔는데, 어디에 적용해야 할지 모르겠어. 어디서 뭘 바꿔야 하는지… 뭐야 이거?”
• “코드가 엉켜있고, 기능이 흩어져 있으면, 수정이 끝없이 반복되는 거 아냐?”

핵심 설명:

기존에는 AI 에이전트의 수정이 ‘코드 전체를 뒤져야 하는 수작업’이었는데, 이 논문은 ‘행동 중심의 자동 구조화’와 ‘진행적 정보 제공’을 통해 수정 위치를 정확히 찾아주는 시스템을 제안합니다.

특히 주목할 점:

• **행동 기반 코드 매핑**으로, 수정 요청에 맞춰 행동을 찾는 정확도가 **42% 향상** (비교 대상: 수작업 기반 매핑)
• **스프레드된 코드 위치, 드물게 실행되는 경로, 모듈 간 상호작용**에서의 향상이 가장 크며, **최대 2.3배의 토큰 절감** 효과도 실현

🎯 왜 이것이 게임 체인저인가? :

**수정을 위한 코드 탐색 → 행동 중심 자동 매핑 + 점진적 정보 제공**

(기존: “어디에 있는지 찾아야 해” → 새 방식: “어디에 있어야 할지 알고 알려줘”)

🧠 “시각 데이터만으로도 복잡한 추론과 물리 법칙, 장기 계획을 동시에 학습할 수 있다? 이게 진짜 가능한 거야?”

UniVR: Thinking in Visual Space for Unified Visual Reasoning

🏛️ 소속: ByteDance (빅테크)

🏷️ 핵심 키워드: visual reasoning, reinforcement learning, physical dynamics, long-term planning, visual demonstrations

💭 이런 질문을 해본 적 있나요?

• “시각 정보만으로도 물리 법칙을 이해할 수 있을까?”
• “장기 계획을 시각 데이터로 학습하는 게 가능할까?”
• “텍스트나 힌트 없이도 로직을 맞춰야 할 때, AI는 어떻게 할까?”

[핵심 설명: 기존에는 시각 데이터에서 추론을 하려면 텍스트-이미지 쌍이나 특정 허브가 필요했지만, 이 논문은 순수 시각 데이터만으로도 복잡한 추론, 물리적 동역학, 장기 계획을 동시에 학습하게 됩니다.]

특히 주목할 점:

• VR-X 벤치마크에서 **최대 25% 성능 향상**을 기록한 첫 번째 시각 중심 추론 모델
• 시각 추론 성능 향상으로 **다양한 멀티모달 이해 벤치마크에서도 성능 상승**

🎯 왜 이것이 게임 체인저인가? :

“텍스트-이미지 쌍이나 태스크별 허브를 요구하는 방식” → “순수 시각 데이터 + VR-GRPO 강화 학습으로 로직과 물리성 동시 학습”

🤖 “비전+언어+이동”을 하나로 묶는 게 쉬운가요? 아니면… 오히려 복잡해지는가요?

ABot-N1: Toward a General Visual Language Navigation Foundation Model

🏛️ 소속: Alibaba AMAP CV Lab (빅테크)

🏷️ 핵심 키워드: Visual-Language Navigation, Chain-of-Thought Reasoning, Pixel Goal, Embodied AI, Slow-Fast Architecture

💭 이런 질문을 해본 적 있나요?

• “어디로 가야 할지” 말하는 텍스트와 “어디로 가야 할지” 판단하는 이미지가 서로 맞지 않을 때, 어떻게 해결할 수 있을까요?
• “실제 도시”에서 “사람 따라가기”나 “POI 도착률”이 떨어지는 이유는 무엇일까요?
• “모든 임무에 적용 가능한” 하나의 모델이 정말 가능할까요?

기존에는 단일 정책이 비전과 언어를 직접 매핑해 행동을 생성했지만, 이는 좌표 흐름 문제와 긴 꼬리 세미틱스를 처리하지 못했고, 투명성이 없어 일반화와 견고성 사이에서 균형을 잃었습니다.

이 논문은 “지식 추론”과 “행동 제어”를 분리한 느리고 빠른 아키텍처로, 시각-언어 신호를 기반으로 명확한 Chain-of-Thought 추론을 수행하고, 이를 통해 픽셀 기반 목표를 생성합니다. 이 목표는 다양한 임무(포인트/POI/인스트럭션/사람 따라가기 등)에 통합된 인터페이스 역할을 하며, 빠른 액션 전문가가 이를 텍스트와 결합해 실시간 제어 주파수로 웨이포인트를 생성합니다.

특히 주목할 점:

• 도시 규모 네비게이션에서 POI 도착률을 35.0% 증가시켜 77.3%로 향상
• 복잡한 실내/실외 환경에서 95.4% / 92.9%의 성공률(SR) 달성

🎯 왜 이것이 게임 체인저인가? :

“단일 정책이 모든 임무를 직접 매핑하는 방식” → “느린 추론 + 빠른 제어 아키텍처로 시각-언어 기반 픽셀 목표를 중간 인터페이스로 활용”

🤖 “로봇이 기억을 가진 게 진짜로 가능하다? 그게 아니라면… 이 논문은 로봇에게 ‘뇌’를 줬다!”

ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

🏛️ 소속: Alibaba AMAP CV Lab (빅테크)

🏷️ 핵심 키워드: robotic agent OS, lifelong memory, multi-modal graph, self-evolution, embodied benchmark

💭 이런 질문을 해본 적 있나요?

• 로봇이 긴 시간 동안 일관된 기억을 유지할 수 있을까?
• 로봇이 실패를 통해 스스로 진화하는 건 현실인가?
• ‘장기 실행’이 가능한 로봇 OS는 아직 없는데, 이건 진짜로 가능할까?

[핵심 설명: 기존에는 로봇은 단일 컨트롤러로 실행되고, 장기적 기억이나 자기 진화 기능이 없었는데, 이 논문은 “Agent OS”라는 새로운 레이어를 도입해 장기 실행, 다중 모달 메모리, 실패 기반 자가 진화를 동시에 지원합니다.]

특히 주목할 점:

• ABot-AgentOS Static은 LoCoMo에서 87.5, OpenEQA EM-EQA에서 59.9, Mem-Gallery에서 88.6, NExT-QA에서 76.5 Acc@All을 달성
• 자가 진화 기능을 적용한 후 LoCoMo 88.7, OpenEQA 60.4, Mem-Gallery 89.0으로 성능 향상

🎯 왜 이것이 게임 체인저인가? :

“단일 컨트롤러 + 일회성 실행” → “Agent OS + 다중 모달 기억 + 실패 기반 자가 진화”

🎬 “영상 생성 모델이 비전의 ‘일반 목적’ 학습자라는 걸, 누가 처음 말했을까?”

Video Generation Models are General-Purpose Vision Learners

🏛️ 소속: GoogleDeepMind (빅테크)

🏷️ 핵심 키워드: video generation, vision-language alignment, general-purpose vision, diffusion model, pre-training

💭 이런 질문을 해본 적 있나요?

• “영상 생성 모델이 비전 임무에 쓰일 수 있을까?”
• “텍스트로 지시하는 비전 모델이, 전문 모델을 넘어서는 성능을 낼 수 있을까?”
• “영상 생성이 단순한 합성 도구일 뿐인가, 아니면 비전의 기초가 될 수 있을까?”

[핵심 설명: 기존에는 영상 분석은 전문 모델이 필요했고, 텍스트-영상 생성은 합성 도구로 여겨졌지만, 이 논문은 영상 생성 모델이 ‘일반 목적 비전 학습자’로 진화할 수 있음을 입증했습니다.]

특히 주목할 점:

• 영상 생성 기반 모델 GenCeption은 7~500배 적은 학습 데이터로 D4RT, VGGT-Omega 등 전문 모델과 동등하거나 더 뛰어난 성능을 달성
• 3D 키포인트 예측, 표면 정상, 카메라 포즈 추정, 표현 참조 세그멘테이션 등 6가지 임무에서 전문 모델(예: DepthAnything3, SAM3 등)과 비교해 1.2~2.3배 높은 성능 개선

🎯 왜 이것이 게임 체인저인가? :

“영상 생성을 합성 도구로만 봤던 시대” → “영상 생성이 비전의 기초 학습 경로가 되는 시대”

📚 “이미지가 ‘문장’을 되찾아야 할까? MLLM이 직접 평가하는 시대가 왔다!”

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

🏛️ 소속: ByteDance Seed (빅테크)

🏷️ 핵심 키워드: SpectraReward, zero-shot, reward modeling, image-text alignment, reinforcement learning

💭 이런 질문을 해본 적 있나요?

• “이미지 생성 모델의 품질은 어떻게 측정해야 하나?”
• “보통 reward model을 따로 훈련해야 하는데, 왜 안 되는 걸까?”
• “대규모 MLLM이 이미지 생성에 쓰이면, 그 자체로 reward 모델이 될 수 있을까?”

[핵심 설명: 기존에는 생성된 이미지를 판단하거나 분해된 질문에 답하게 했는데, 이 논문은 “원본 프롬프트를 이미지에서 복원하는 정도”로 보상함으로써, 훈련 없이 MLLM을 바로 reward model로 재사용합니다.]

특히 주목할 점:

• 9개의 MLLM 백본(4B~235B 파라미터)을 사용해 실험한 결과, SpectraReward는 평균적으로 **1.8배** 더 나은 생성 품질을 달성함.
• Self-SpectraReward는 **235B 파라미터 모델보다도 1.3배** 높은 성과를 보이며, 외부 reward 모델 없이도 효과적인 클로즈드 루프 학습이 가능함.

🎯 왜 이것이 게임 체인저인가? :

“외부 reward 모델을 따로 훈련하고 정교하게 조정해야 했다” → “MLLM이 이미지 생성을 할 때 그 자체로 reward를 계산해주는 단일 파이프라인으로 뒤집음”

🚀 “몇 단계만으로도 최고 수준의 결과? 이건 AI 생성 모델의 ‘스피드와 품질’을 동시에 뒤집는다!”

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: MeanFlow, Forward-Process RL, DiffusionNFT, Velocity Prediction, Few-Step Sampling

💭 이런 질문을 해본 적 있나요?

• “몇 스텝으로도 뛰어난 이미지/비디오를 만들 수 있을까?”
• “RL 튜닝이 평균 속도 기반 모델에 적용될 수 있을까?”
• “50단계가 아니라 4단계로도 SOTA를 넘을 수 있을까?”

[핵심 설명: 기존에는 “순차적 역방향 샘플링 + 인스턴스 속도 최적화”가 RL과 결합됐는데, 이 논문은 “평균 속도 기반 MeanFlow”에 전방 프로세스 RL을 적용해 샘플링 속도와 품질을 동시에 높였습니다.]

특히 주목할 점:

• Wan 2.1 데이터셋에서 4단계 샘플링으로 VBench 점수 84.33 달성, 50단계 LongCat-Video RL(82.57)을 근소하게 제치고 품질 우위 확보
• SD3.5-M 기준 8개 메트릭 중 6개에서 기존 최고 기록을 상회하며, RL 튜닝된 적은 몇 단계 모델 중 가장 우수한 성능

🎯 왜 이것이 게임 체인저인가? :

“역방향 샘플링 + 인스턴스 속도 최적화” → “전방 프로세스 RL + 평균 속도 기반 샘플링”

이제 몇 단계로도 SOTA를 넘을 수 있는 ‘빠르고 정교한’ 생성이 가능해졌습니다.

🧠 “이미지 이해와 생성이 동시에 일어나야 한다는 건, 인간의 뇌가 이미 그렇게 작동한다는 거야!”

Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

🏛️ 소속: Google (빅테크)

🏷️ 핵심 키워드: Masked Diffusion Models, Cross-modal Attention, Self-Correcting, Joint Multimodal Generation, Coupled Markov Jump Processes

💭 이런 질문을 해본 적 있나요?

• “이미지에 대한 설명을 생성할 때, 이해가 뒤따르는 게 아니라 동시에 일어나야 하는 건가?”
• “AI가 이미지와 텍스트를 번갈아 생성하는 게 아니라, 서로 영향을 주며 동시에 진화하는 게 더 자연스러운 건가?”
• “AI가 스스로 ‘이건 틀렸어’ 하고 수정할 수 있다면, 인간처럼 흐름을 조정하는 건 가능할까?”

[핵심 설명: 기존에는 이미지와 텍스트를 별개로 업데이트하거나 번갈아 생성하던 방식이었는데, 이 논문은 두 모달리티가 서로의 신뢰도를 기반으로 실시간으로 조정하고, 모순이 생기면 즉시 수정하는 ‘자기 수정형 결합 마르코프 점프 프로세스’를 도입했습니다.]

특히 주목할 점:

• JEdit-1M 데이터셋에서 이미지 편집 작업에서 **최고의 결합 성능**을 달성해 기존 방법보다 **3.2배 더 정확한 결과**를 내었음.
• JMaze-200K와 JNono-200K에서 **비주얼 추론 성능이 28.7% 향상**되었으며, 이는 단일 스텝에서의 모달리티 간 상호작용 덕분에 달성됨.

🎯 왜 이것이 게임 체인저인가? :

“텍스트와 이미지를 번갈아 생성하거나 별개로 업데이트하는 전통적 방식” → “두 모달리티가 서로의 신뢰도를 기반으로 실시간으로 조정하고, 모순이 생기면 즉시 수정하는 자기 수정형 결합 마르코프 점프 프로세스”

🎯 "[SPEAR로 인공지능이 현실을 흉내내는 속도가 10배 빨라졌다고? 정말이야?]"

SPEAR: A Simulator for Photorealistic Embodied AI Research

🏛️ 소속: Adobe Research (빅테크)

🏷️ 핵심 키워드: photorealistic simulation, Unreal Engine, embodied AI, programmable rendering, high-level graph execution

💭 이런 질문을 해본 적 있나요?

• “왜 내 모델이 Unreal Engine에서 빠르게 렌더링되지 않는 걸까?”
• “UE 기반 시뮬레이터가 왜 14,000개 이상의 함수를 지원하지 못하는 걸까?”
• “실제 환경처럼 보이는 이미지를 73fps로 빠르게 생성하는 게 가능할까?”

[핵심 설명: 기존에는 UE 기반 시뮬레이터가 제한된 기능과 느린 렌더링 속도로, 프로그래밍 확장성과 실시간 성능을 동시에 제공하지 못했지만, 이 논문은 Python 기반의 SPEAR를 통해 UE와의 모듈러 플러그인 구조로 14,000+ 함수를 노출하고, 73fps로 1920x1080 해상도의 빛나는 이미지를 실시간으로 생성합니다.]

특히 주목할 점:

• 14,000개 이상의 Unreal Engine 함수를 Python으로 직접 조작 가능 → 기존 UE 플러그인보다 10배 이상 확장성 향상
• 1920x1080 해상도의 사진을 73프레임/초로 NumPy 배열에 직접 렌더링 → 기존 UE 플러그인보다 10배 빠른 렌더링 속도

🎯 왜 이것이 게임 체인저인가? :

기존 UE 기반 시뮬레이터는 제한된 함수와 느린 렌더링 속도로 프로그래밍 확장성이 낮았음 → SPEAR는 14,000+ 함수 노출 + 73fps 빠른 렌더링 + 고해상도 물리적 색상 분해 등 3가지 핵심 기능으로 실시간 인공지능 트레이닝과 시뮬레이션을 혁신적으로 재정의