Weekly AI Papers — 2026-06-29

🚀 "여러 영역을 동시에 설명해줘? 그게 가능한 거야?!"

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

🏛️ 소속: ByteDance (빅테크)

🏷️ 핵심 키워드: Multimodal Diffusion, Parallel Perception, Region Captioning, Structured Attention, Inference Efficiency

💭 이런 질문을 해본 적 있나요?

• “이미지 여러 영역을 한 번에 설명해줘”라고 요청했는데, 모델이 하나씩 차례로 처리해서 3배 이상 시간이 걸렸어?
• “사진 속 5개의 물체를 동시에 설명해줘”라는 요청이 있는데, 지금 쓰는 모델이 이걸 어떻게 효율적으로 처리할 수 있을까?
• “모델이 병렬로 처리할 수 있다면, 배속 2.5배 빠른 처리가 가능하겠네?” — 그건 정말 현실적인 기대일까?

[핵심 설명: 기존에는 자동 생성 기반 MLLM이 영역별 설명을 차례로 처리해 효율이 낮았는데, 이 논문은 확산 언어 모델의 병렬 디코딩 특성을 활용해 여러 영역을 동시에 인식하고 설명합니다.]

특히 주목할 점:

• **ParaDLC-Bench**를 통해 **5개 영역 동시 인식** 시 **배속 2.5배 빠른 처리**를 달성 (기존 순차적 방식 대비)
• **PerceptionDLM-Base** 기반으로 **Open-source diffusion MLLM 중 최고 성능** 유지하면서도 **병렬 처리 효율성 향상**

🎯 왜 이것이 게임 체인저인가? :

**“영역별 순차적 처리 → 영역 병렬 인식 및 설명”**

🖼️ "텍스트와 이미지, 하나의 텐서로 다루는 건 불가능한 일인가? 이 논문이 답을 줬다."

ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: visual quantization, text-aligned, discrete representation, multimodal learning, resolution agnostic

💭 이런 질문을 해본 적 있나요?

• “이미지 텍스트로 바꾸는 건 힘들지만, 텍스트로 이미지를 재구성하는 건 왜 이렇게 어려운가?”
• “모델이 이미지를 텍스트처럼 디스커트 표현할 수 있다면, 훈련 효율은 얼마나 향상될까?”
• “고해상도 이미지를 처리하려면 반드시 고차원 연산이 필요하다는 건 진짜인가?”

[핵심 설명: 기존에는 연속적인 고차원 특징 벡터를 사용해 이미지 정보를 표현했지만, 이 논문은 텍스트와 정렬된 디스커트 표현으로, 해상도와 관계없이 정밀한 세부 정보와 의미를 동시에 유지합니다.]

특히 주목할 점:

• 멀티모달 작업에서 최신 연속형 시각 인코더와 경쟁하는 성능을 달성하면서도, 저수준 재구성 정밀도는 95% 이상 유지
• 멀티모달 훈련 시, 다양한 기반 LLM과 훈련 방법에서 최대 70%의 속도 향상 효과를 보임

🎯 왜 이것이 게임 체인저인가? :

“연속적 고차원 특징 벡터를 사용해 텍스트와 이미지를 통합” → “텍스트와 정렬된 디스커트 표현으로 해상도 무관하게 의미와 세부 정보를 동시에 유지”

📄 "OCR도 한계가 있나요? 아니, 이제는 한계 없는 OCR이 가능해요!"

Unlimited OCR Works

🏛️ 소속: BAIDU (빅테크)

🏷️ 핵심 키워드: OCR, Reference Sliding Window Attention, KV Cache, End-to-End, Parsing Attention

💭 이런 질문을 해본 적 있나요?

• “문서 100페이지를 한 번에 인식할 수 있을까?”
• “LLM 기반 OCR이 길어질수록 느려지는 건 왜?”
• “사람은 긴 글도 빠르게 복사하지만, 모델은 왜 안 되죠?”

[핵심 설명: 기존에는 긴 텍스트를 처리할수록 KV 캐시가 쌓여 메모리 소모와 속도 저하가 심각했으나, 이 논문은 Reference Sliding Window Attention을 도입해 KV 캐시를 일정하게 유지하면서도, 32K 길이의 단일 패스로 수십 페이지 문서를 인식할 수 있도록 뒤집었습니다.]

특히 주목할 점:

• **32K 길이의 단일 전파(Forward Pass)로 수십 페이지 문서를 인식** 가능 (DeepSeek OCR 기준 1000개의 토큰 단위로 분할 필요 없음)
• **KV 캐시가 일정하게 유지**되며, 긴 시퀀스에서도 메모리 소모와 속도 저하 없음 (기존 방식: 길어질수록 KV 캐시 증가 → 메모리/속도 문제)

🎯 왜 이것이 게임 체인저인가? :

**기존 방식: 긴 텍스트 처리 시 KV 캐시 누적 → 메모리 과부하, 속도 저하** → **새 방식: R-SWA로 KV 캐시 고정 + 32K 단일 패스 → 수십 페이지 한 번에 빠르고 효율적 인식**

📱 “모바일 앱 자동화? 훈련 환경이 문제였다면 이제 해결됐어요.”

Training Open Models for Agentic Phone Use

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: agentic phone use, real-app RL, mock-app environment, PhoneWorld, supervised fine-tuning

💭 이런 질문을 해본 적 있나요?

• “모바일 앱 자동화 모델을 훈련할 때, 실제 기기보다 시뮬레이션 환경이 더 나은 걸까?”
• “모바일 앱에서 AI가 ‘정말’ 잘 작동하는지 어떻게 검증할 수 있을까?”
• “사용자와의 상호작용이 복잡한 앱에서 AI가 성공률을 얼마나 올릴 수 있을까?”

[핵심 설명: 기존에는 실제 기기 환경이 느리고 불안정해서 훈련이 어렵고, 모의 환경은 정확도가 낮아서 신뢰할 수 없었는데, 이 논문은 실제 앱과 모의 앱을 결합한 ‘PhoneBuddy’ 프레임워크로 이 문제를 해결했습니다.]

특히 주목할 점:

• 실제 기기 테스트에서 모델 성공률이 스파이럴 훈련 후 36.67% → 실제 앱 RL 후 40.67% → 혼합 RL 후 45.33%로 향상
• AndroidWorld 모의 환경에서도 60.3% → 77.2% → 83.2%로 성공률 증가

🎯 왜 이것이 게임 체인저인가? :

“실제 기기만으로 훈련하라” → “실제 기기 + 모의 환경 혼합 훈련으로 성능 10% 이상 향상”

🔥 "LLM의 흐름을 뒤집는 ‘양방향 확산’… 자동 회귀가 더 나은가, 아니면 이거야?"

Improved Large Language Diffusion Models

🏛️ 소속: ByteDance Seed (빅테크)

🏷️ 핵심 키워드: masked diffusion, bidirectional attention, pre-training, fine-tuning, instruction tuning

💭 이런 질문을 해본 적 있나요?

• “확산 모델이 LLM에 쓰여야 할까, 자동 회귀가 더 나을까?”
• “왜 12T 토큰짜리 훈련이 필요한가? 확산 모델은 그만큼 힘들까?”
• “비대칭적 주의력이 오히려 성능을 끌어올릴 수 있을까?”

[핵심 설명: 기존에는 자동 회귀 + 인과적 주의력으로 훈련된 LLM이 주류였는데, 이 논문은 완전 양방향 주의력 + 마스킹 확산 목표를 유지하며 처음부터 훈련하는 방식으로 뒤집었습니다.]

특히 주목할 점:

• iLLaDA-Base는 BBH에서 21.6점 향상, ARC-Challenge에서 14.9점 향상
• iLLaDA-Instruct는 MATH에서 14.5점 향상, HumanEval에서 16.5점 향상
• 12T 토큰의 사전 훈련 + 25B 토큰의 지시어 집합 12회 훈련을 통해 성능을 극대화

🎯 왜 이것이 게임 체인저인가? :

자동 회귀 + 인과적 주의력 → 완전 양방향 주의력 + 마스킹 확산 훈련

(기존 방식은 흐름을 제한했지만, 이 논문은 흐름을 뒤집어 더 강력한 성능을 낳음)

🧮 "수학 문제 풀이 AI가 스스로 ‘정답이 맞는지’ 검증하는 시대가 왔다!"

VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: multimodal reasoning, verifiable data, evolution operators, hypothesis testing, RL scaling

💭 이런 질문을 해본 적 있나요?

• “AI가 풀이한 수학 문제의 정답이 신뢰할 수 있을까?”
• “더 많은 데이터를 쌓아도 정답 라벨이 신뢰되지 않으면 어떻게 해?”
• “AI가 스스로 틀린 답을 찾아내는 방법은 없을까?”

[핵심 설명: 기존에는 데이터 양만 늘려서 RL을 확장했지만, 이 논문은 ‘정답 신뢰도’와 ‘문제 난이도’를 분리해 독립적으로 확장했습니다.]

특히 주목할 점:

• 10K → 250K 샘플로 확장한 SFT 데이터는 정확도가 35.42% → 54.73%로 19.31% 상승
• VeriEvol 기반 RL 기반 모델은 기존 RL 베이스라인보다 총 +3.88% 성능 향상, 그 중 +1.82%는 진화된 프롬프트, +2.06%는 HTV-Agent 검증기 기여

🎯 왜 이것이 게임 체인저인가? :

기존 방식: “더 많은 데이터 + 신뢰할 수 있는 라벨”을 믿고 RL 확장 → 이 논문: “진화된 프롬프트 + 검증된 정답”으로 신뢰성과 난이도를 분리해 확장

🎯 "다시는 편집과 생성이 서로를 망가뜨리지 않아요? 이 논문이 그 답을 줬습니다."

DanceOPD: On-Policy Generative Field Distillation

🏛️ 소속: ByteDance Seed (빅테크)

🏷️ 핵심 키워드: on-policy, generative field distillation, flow-matching, capability composition, student-teacher

💭 이런 질문을 해본 적 있나요?

• “텍스트 생성과 편집을 동시에 잘하는 모델은 없나요?”
• “글로벌 편집이 로컬 편집을 망가뜨리는 건 왜일까요?”
• “모델이 학습할 때 여러 기능을 동시에 조화롭게 학습하는 게 가능한 걸까요?”

[핵심 설명: 기존에는 각 기능이 서로 간섭하며 학습되었는데, 이 논문은 ‘동시 학습’을 ‘분리된 필드’로 구조화해, 학습 과정에서 서로 간섭 없이 학습하게 만듭니다.]

특히 주목할 점:

• T2I, 편집, 현실성 필드 흡수, CFG 흡수 등 4가지 기능에서 **모든 기능의 성능이 1.5배 이상 향상** (T2I: 1.5x, 편집: 1.5x, CFG 흡수: 1.5x)
• **학습 과정에서 100%의 편집 성공률** (local editing) 유지하면서도 T2I 품질 유지율 98% 달성

🎯 왜 이것이 게임 체인저인가? :

기존 방식 → 다수 기능을 하나의 모델에 강제로 합치며 성능 저하

새 방식 → 각 기능을 독립적 필드로 분리해 학습 → 기능 간 갈등 제거 + 학습 효율성 1.5배 향상

🚀 " reward gradient를 뒤집어 쓰다니? 흐름 모델의 학습이 이렇게 간단해질 수 있나?"

Exploring the Design Space of Reward Backpropagation for Flow Matching

🏛️ 소속: Tencent (빅테크)

🏷️ 핵심 키워드: reward backpropagation, flow matching, gradient chaining, surrogate trajectory, Jacobian

💭 이런 질문을 해본 적 있나요?

• “reward gradient를 뒤집어 쓰는 게 왜 가능할까?”
• “샘플링과 최적화를 분리하면 성능이 향상되는 걸까?”
• “Jacobian이 쌓이면 gradient가 폭발하는 게 왜 꼭 이뤄지는 걸까?”

[핵심 설명: 기존에는 전체 샘플링 경로의 Jacobian을 채우며 gradient를 뒤집어 계산했지만, 이 논문은 캐시된 rollout을 기반으로 가벼운 후방 추정을 구축해 gradient chaining을 최대 1개로 제한합니다.]

특히 주목할 점:

• SD3.5-M, FLUX.1-dev, FLUX.2-Klein-base에서 **quality, preference, compositional metrics** 모두에서 **direct-gradient baseline 대비 평균 1.5~2.3배 향상**
• **메모리 사용량은 active-set 크기로 제한**되며, **Jacobian 채인 수는 최대 1개로 통제** (기존 방식은 수백 개)

🎯 왜 이것이 게임 체인저인가? :

**전통적인 전체 경로 기반 reward backpropagation → 캐시된 rollout + 가벼운 후방 추정 기반의 surrogate trajectory**

🎬 “영상 생성에서 ‘샘플링 단계 1~2번’으로도 84.63 점? 이건 AI가 인간을 따라잡는 순간이다!”

Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models

🏛️ 소속: NVIDIA (빅테크)

🏷️ 핵심 키워드: autoregressive diffusion, teacher-forcing, self-forcing, causal training, video distillation

💭 이런 질문을 해본 적 있나요?

• “실시간 영상 생성은 왜 이렇게 어렵죠?”
• “샘플링 단계를 줄이면 품질이 떨어지는데, 왜 이 논문은 1~2단계로도 SOTA?”
• “사용자와 상호작용하는 AI 세계 모델은 언제쯤 현실이 될까?”

[핵심 설명: 기존에는 자동 생성 영상이 ‘샘플링 단계 수’에 따라 품질이 급격히 떨어졌고, 실시간 처리에는 비효율적이었으나, 이 논문은 ‘강사 강제’와 ‘자기 강제’를 통합해 자동 생성 영상의 품질과 속도를 동시에 끌어올렸다.]

특히 주목할 점:

• 디스틸링된 2단계 causal Wan2.1-1.3B 모델이 VBench-T2V 점수 84.63을 달성, 샘플링 단계 1 또는 2만으로도 SOTA 성과
• 커스텀 마스크 FlashAttention-2 JVP 커널을 통해 연속 시간 CM(sCM/MeanFlow)을 구현, 이전 이산 시간 CM(dCM) 대비 **10배 빠른 수렴 속도**

🎯 왜 이것이 게임 체인저인가? :

기존 ‘샘플링 단계 수 증가 → 품질 향상’ 패러다임 → 이 논문은 ‘샘플링 단계 1~2로도 SOTA’를 달성하는 ‘강사+자기 강제 통합 학습’으로 뒤집음

🎨 "3D 장면을 한 장의 이미지로 생성하려면? 기하학적 정확도는 뒷전이 될 수밖에 없었죠. 이제는 그 정확도를 ‘직접 빼내’는 방법이 나왔습니다."

FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

🏛️ 소속: Google (빅테크)

🏷️ 핵심 키워드: feedforward latent, triangle splatting, geometric accuracy, 3D scene generation, video diffusion

💭 이런 질문을 해본 적 있나요?

• “3D Gaussians은 왜 게임엔진에 쓰기 힘들까요?”
• “비디오 디퓨전 모델의 잠재변수를 직접 삼각형 프리미티브로 해석할 수 있을까?”
• “기하학적 정확도와 시각 품질을 동시에 높이는 게 가능한가?”

[핵심 설명: 기존에는 비디오 디퓨전 모델의 잠재변수를 3D Gaussian으로 해석해 기하학적 정확도가 낮아서 시뮬레이션이나 그래픽 파이프라인에 쓰기 어려웠는데, 이 논문은 잠재변수를 직접 삼각형 스프릿으로 해석해 기하학적 정확도를 극대화하면서도 시각 품질은 경쟁적 수준으로 유지했습니다.]

특히 주목할 점:

• 기하학적 정확도 측면에서 기존 최고의 feedforward 기반 모델보다 **3.7배 더 높은 정확도**를 달성 (Benchmark 기준)
• **실시간 렌더링 가능한 투명도 100%**로 변환된 삼각형 스프릿은 게임 엔진에서 바로 쓸 수 있는 수준

🎯 왜 이것이 게임 체인저인가? :

“3D Gaussian을 렌더링하고 기하학적 정확도를 높이려면 복잡한 후처리가 필요했다” → “FLAT는 잠재변수를 직접 삼각형 스프릿으로 해석해, 단일 패스로 게임엔진 호환형 기하학적 장면을 생성”