Weekly AI Papers — 2026-05-25

🎬 "영상 생성이 2배 빨라지고, 메모리도 절반 줄어든다? 이건 진짜 현실이야."

LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation

🏛️ 소속: NVIDIA (빅테크)

🏷️ 핵심 키워드: Long Video Generation, NVFP4, Sequence-Parallel, Diffusion Model, VAE

💭 이런 질문을 해본 적 있나요?

• “장비가 더 크면 더 빠르게 영상 생성이 되는 건가?”
• “실시간으로 장수 영상 생성이 가능한 기술은 진짜로 나올까?”
• “메모리 문제로 훈련이 막히는 걸 어떻게 해결할 수 있을까?”

[핵심 설명: 기존에는 장수 영상 생성을 위해 메모리와 속도가 극도로 제한되었는데, 이 논문은 NVFP4 기반의 병렬 인프라와 SP 튜닝으로 훈련 및 추론을 동시에 2배 이상 빠르게, 메모리도 절반 수준으로 최적화했습니다.]

특히 주목할 점:

• 훈련 속도 최대 2.15x 향상, 추론 속도 최대 1.84x 향상
• LongLive-2.0-5B 모델은 45.7 FPS의 실시간 추론 성능을 달성

🎯 왜 이것이 게임 체인저인가? :

기존 Self-Forcing 방식이 ODE 초기화 + DMD로 복잡한 훈련을 요구 → LongLive-2.0은 직접적인 AR 디프로션 모델 튜닝으로 훈련 단계를 단순화하고, LoRA로 실시간 추론까지 가능하게 만듦

🧠 “OPD가 빠르게 학습되는 이유는 ‘미리 보는’ 기술 때문일 수도 있다!”

Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation

🏛️ 소속: Tencent Hunyuan (빅테크)

🏷️ 핵심 키워드: on-policy distillation, foresight, module allocation, update direction, low-rank concentration

💭 이런 질문을 해본 적 있나요?

• OPD가 빠르게 학습되는 게 ‘감정’ 때문인가?
• 왜 같은 모델이라도 OPD는 훈련이 빨라지는 걸까?
• ‘미리 보는’ 기술이 ML 모델에 적용될 수 있을까?

[핵심 설명: 기존에는 OPD의 효율성을 ‘밀도 높은 감독’으로 설명했지만, 이 논문은 ‘미리 보는’(foresight)이라는 파라미터 수준의 동역학 메커니즘을 제시함]

특히 주목할 점:

• **평균 훈련 속도 3배 가속화**를 달성하면서도 최종 성능은 기존과 유사한 수준
• **업데이트 방향의 저랭크 집중도가 최종 업데이트 서브스페이스와 일치**하여 훈련 초기부터 정확한 경로를 설정

🎯 왜 이것이 게임 체인저인가? :

**기존 방식: 훈련 중 무작위 업데이트 → 새 방식: 미리 보는 방향으로 정확한 경로 설정**

🚀 “무엇이든 하나로 처리해? 이미지, 영상, 편집까지… 이건 진짜 빅테크가 내놓은 ‘모든 걸 다 해주는’ AI야!”

Lance: Unified Multimodal Modeling by Multi-Task Synergy

🏛️ 소속: bytedance-research (빅테크)

🏷️ 핵심 키워드: multimodal, unified modeling, multi-task synergy, mixture-of-experts, rotary positional encoding

💭 이런 질문을 해본 적 있나요?

• “이미지와 영상, 편집까지 하나로 처리할 수 있는 모델이 있나요?”
• “모델 크기만 늘려서 해결하는 게 아니라, 어떻게 ‘협업 학습’으로 성능을 끌어올리는 거죠?”
• “텍스트 중심 모델이 아닌, 시각 정보도 자연스럽게 학습하는 방법이 있을까요?”

[핵심 설명: 기존에는 모델 용량 확장이나 텍스트-이미지 중심 설계로 다중 모달을 처리했지만, 이 논문은 ‘공동 학습’과 ‘분리된 능력 경로’를 통해 단일 모델로 이미지·영상·편집을 모두 처리하는 방식으로 뒤집었습니다.]

특히 주목할 점:

• 이미지 및 영상 생성에서 기존 오픈소스 모델 대비 **1.8~2.3배** 더 우수한 성능을 달성
• **12.8배** 더 작은 파라미터 수로도 동일한 수준의 다중 모달 이해 능력 유지

🎯 왜 이것이 게임 체인저인가? :

“모델 크기 키우기 → 학습 태스크 협업 + 분리된 경로 설계”

🔥 “옷을 바꾸는 건 1초도 걸리지 않아요? — AI가 당신의 영상에 옷을 실시간으로 ‘재수정’해준다”

FashionChameleon: Towards Real-Time and Interactive Human-Garment Video Customization

🏛️ 소속: alibaba-inc (빅테크)

🏷️ 핵심 키워드: video customization, in-context learning, garment switching, autoregressive generation, motion coherence

💭 이런 질문을 해본 적 있나요?

• “이 영상에서 옷만 바꿔줘” 하고 요청하면, AI가 왜 항상 뭔가 이상하게 움직이지?
• 옷을 교체할 때마다 영상이 흐트러지거나, 속도가 느려지는 건 ‘정상’인가?
• 옷을 바꾸는 게 ‘실시간’이 아니라면, 쇼핑몰이나 콘텐츠 제작에서 왜 쓸 수 없을까?

[핵심 설명: 기존에는 옷을 교체하려면 다수의 영상 데이터로 훈련해야 했고, 실시간 반응도 없었지만, 이 논문은 단일 옷 영상만으로도 실시간 인터랙티브 옷 교체를 가능하게 했다.]

특히 주목할 점:

• 23.8 FPS의 실시간 생성 속도를 달성해 기존 방법보다 30~180배 빠름
• 단일 옷 영상만으로도 모션 일관성을 유지하며, 옷을 실시간으로 교체 가능

🎯 왜 이것이 게임 체인저인가? :

“사전 훈련된 다수 옷 영상 데이터 필요 → 단일 옷 영상 + 인컨텍스트 학습으로 실시간 인터랙티브 교체”

🎬 "비디오 LLM을 더 긴 영상에 적용하려면, 비디오 인코더가 먼저 빠져야 한다는 걸 알아야 해요"

LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs

🏛️ 소속: Deepmind (빅테크)

🏷️ 핵심 키워드: Video LLM, Vision Encoder, Token Distillation, Frame Scaling, Latency Optimization

💭 이런 질문을 해본 적 있나요?

• “비디오를 더 길게 처리하려면 인코더를 빠르게 해야 하는데, 왜 그걸 먼저 고치지 않았죠?”
• “LLM이 느리게 되는 건 토큰 수 때문이 아니라, 인코더가 너무 느리기 때문이었나요?”
• “내 모델이 더 많은 프레임을 처리할 수 있게 되면, 그만큼 정확도도 올라가야 하는 거 아닌가요?”

[핵심 설명: 기존에는 비디오 인코더의 프레임 처리가 느리고 비용이 많이 들었으나, 이 논문은 학습된 효율적인 인코더를 통해 프레임 처리 속도를 극대화하면서도 정확도를 유지하는 방식으로 뒤집었습니다.]

특히 주목할 점:

• InternVL3-8B 대비 **35% 감소된 종단 간 지연**을 기록하며, **8배 더 많은 프레임을 처리**할 수 있음
• 다수의 비디오 이해 평가 벤치마크에서 **평균 영상 이해 정확도 향상**을 달성

🎯 왜 이것이 게임 체인저인가? :

**기존 방식: 비디오 토큰을 줄여서 LLM 부하 줄이기 → 인코더 처리 속도가 주요 병목**

**새 방식: CTD 기반 학습으로 인코더 자체를 효율화 → 프레임 수 증가 + 지연 감소 + 정확도 유지**

🔥 "기억은 빼먹는 게 아니라, 정확히 ‘어디서 빼’ ‘어디에 쓰는지’를 나눠야 한다는 걸 알게 됐나요?"

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

🏛️ 소속: NVIDIA (빅테크)

🏷️ 핵심 키워드: linear attention, gated delta rule, channel-wise decay, memory editing, recurrent state

💭 이런 질문을 해본 적 있나요?

• “선형 주의력 모델이 왜 ‘기억 삭제’와 ‘새로운 정보 입력’을 하나의 게이트로 처리해야 하는 걸까?”
• “KDA나 Gated DeltaNet이 성능을 끌어올리는 데 도움이 되긴 하는데, 왜 여전히 ‘어떻게 빼고 넣을지’가 혼동되는 걸까?”
• “장문 처리에서 ‘ needle-in-a-haystack’ 같은 테스트에서 성능이 훨씬 높아지면, 그게 실제 애플리케이션에 어떤 영향을 줄까?”

[핵심 설명: 기존에는 “하나의 스칼라 게이트”로 삭제와 쓰기를 동시에 조절했지만, 이 논문은 “채널별로 독립된 삭제 게이트와 쓰기 게이트”를 도입해 각각의 역할을 분리함으로써 메모리 편집의 정밀도를 극대화]

특히 주목할 점:

• 1.3B 파라미터 모델이 100B FineWeb-Edu 토큰으로 훈련된 상태에서, Mamba-2, Gated DeltaNet, KDA, Mamba-3 변형모델 중 **전체 성능에서 가장 우수**
• **장문 검색(RULER) 테스트에서 ‘multi-key retrieval’ 설정에서 13.7% 성능 향상**을 달성하며, 순환 및 하이브리드 설정 모두에서 강력한 성능 유지

🎯 왜 이것이 게임 체인저인가? :

**하나의 스칼라 게이트로 삭제와 쓰기를 동시에 조절하다** → **채널별로 독립된 삭제 게이트와 쓰기 게이트로 각각의 역할을 명확히 분리**

🔥 “LLM 배포 전 꼭 측정해야 할 숫자, 이건 놓치면 안 돼!”

Measuring Maximum Activations in Open Large Language Models

🏛️ 소속: BAIDU (빅테크)

🏷️ 핵심 키워드: activation scaling, quantization, LLM inference, MoE, residual stream

💭 이런 질문을 해본 적 있나요?

• “모델 크기만 크면 activation도 비슷하게 커지나요?”
• “INT-8 정확도를 높이려면 activation peak가 몇 배로 줄여야 하나요?”
• “MoE 모델이 dense 모델보다 activation peak가 낮은 이유는 뭐죠?”

[핵심 설명: 기존에는 “모델 크기만으로 activation peak를 예측했다”는 단순한 가정이었는데, 이 논문은 “모델 종류, 아키텍처, 훈련 단계에 따라 activation peak가 근본적으로 달라진다”는 사실을 밝혀냈습니다.]

특히 주목할 점:

• 27개 체크포인트 중 22/24에서 residual stream이 전역 최대값을 기록하며, MoE 모델은 동일 규모 dense 모델보다 14.0~23.4배 낮은 peak를 보임
• Gemma3-27B-it 모델이 약 7 × 10⁵의 전역 최대값을 기록하며, Qwen3.5와 MoE 모델은 10²~10³ 범위에 집중

🎯 왜 이것이 게임 체인저인가? :

“모델 크기만으로 activation peak를 예측하라” → “모델 종류, 아키텍처, 훈련 단계에 따라 peak가 다르며, 배포 전 반드시 측정해야 한다”

🎬 “무한 루프 같은 영상도? 지금은 ‘무한’이 아니라 ‘무결점’이야!”

Enhancing Train-Free Infinite-Frame Generation for Consistent Long Videos

🏛️ 소속: alibaba-inc (빅테크)

🏷️ 핵심 키워드: train-free, infinite-frame, temporal consistency, self-reflection, long-range guidance

💭 이런 질문을 해본 적 있나요?

• “무한 영상 생성”이란 말이 진짜로 무한할 수 있을까?
• 훈련 없이도 1000프레임 이상을 생성하려면… 어떻게 일관성을 유지하지?
• 기존 모델은 300프레임에서 이미 ‘자체 불일치’가 시작되는데, 이 논문은 어떻게 1000프레임까지도 ‘무결점’으로 만들어?

[핵심 설명: 기존에는 훈련-추론 불일치와 장기 일관성 문제로 인해 무한 프레임 생성이 실패했지만, 이 논문은 두 단계 정렬 + 자가 반성 + 장거리 프레임 지도라는 혁신적 메커니즘으로 일관성 유지에 성공했습니다.]

특히 주목할 점:

• VBench에서 1000프레임 생성 시 **15.2% 더 높은 일관성 점수** (FID 3.1 → 2.6)
• NarrLV 데이터셋에서 **기존 기법보다 3.8배 더 높은 장기 일관성 유지율** (800프레임까지 96.2% → 85.4%)

🎯 왜 이것이 게임 체인저인가? :

“훈련-추론 불일치로 인해 무한 프레임 생성이 실패했다” → “자기 반성 + 장거리 프레임 지도로 1000프레임까지 일관성 유지 성공”

🔥 “8K→64K로 컨텍스트 확장? 기존 방법은 괜히 비싼데, 이 논문은 단 8K짜리 데이터로 64K까지 훈련시키는 거야!”

EndPrompt: Efficient Long-Context Extension via Terminal Anchoring

🏛️ 소속: BAIDU (빅테크)

🏷️ 핵심 키워드: Long-context, Prompt Engineering, Positional Embedding, Sparse Supervision, Context Extension

💭 이런 질문을 해본 적 있나요?

• “64K 컨텍스트 모델을 훈련하려면 64K 길이의 데이터가 꼭 필요할까?”
• “긴 문장 훈련이 비효율적이면, 짧은 훈련 데이터로도 긴 컨텍스트를 얻을 수 있을까?”
• “Transformer의 위치 정보를 어떻게 조작해도 안정적인 확장이 가능한 걸까?”

[핵심 설명: 기존에는 긴 시퀀스 전체를 훈련 데이터로 사용해 정확도와 메모리 비용이 폭발했지만, 이 논문은 단 8K 길이의 짧은 시퀀스에 단순히 ‘끝부분 프롬프트’를 붙여서 64K 컨텍스트 확장을 성공시켰다.]

특히 주목할 점:

• LLaMA-family 모델에서 8K→64K 컨텍스트 확장 시 평균 RULER 점수 76.03 달성
• LongBench 평균 점수에서 LCEG(72.24), LongLoRA(72.95), 전체 훈련(69.23)을 모두 제치고 최고 성과 기록

🎯 왜 이것이 게임 체인저인가? :

기존 방식 → 긴 시퀀스 전체 훈련으로 메모리 비용과 계산 비용이 제곱 비례로 증가

새 방식 → 짧은 시퀀스에 단순한 테르미널 프롬프트만 붙여도 64K 컨텍스트 확장 성공

🎵 "왜 임베딩을 거치는 걸 당연하게 생각했을까? — 원시 파형 공간에서 바로 음악을 만든다"

WavFlow: Audio Generation in Waveform Space

🏛️ 소속: Meta Research (빅테크)

🏷️ 핵심 키워드: audio generation, waveform space, flow matching, multimodal, direct x-prediction

💭 이런 질문을 해본 적 있나요?

• “ latent space 를 거치는 게 더 좋지 않나?”
• “왜 모든 음성 합성 모델이 임베딩을 써야 하는 걸까?”
• “파형 공간에서 직접 학습하면 성능이 안 나올 거야, 맞지 않아?”

[핵심 설명: 기존에는 임베딩 공간을 거쳐서 음향을 압축·복원하던 방식이었는데, 이 논문은 원시 파형 공간에서 바로 생성하는 방식으로 패러다임을 뒤집었습니다.]

특히 주목할 점:

• VGGSound 데이터셋에서 FD_PaSST 59.98, IS_PANNs 17.40, DeSync 0.44 달성 — 기존 latent-based 모델과 경쟁 수준
• AudioCaps 데이터셋에서 FD_PANNs 10.63, IS_PANNs 12.62 달성 — 텍스트 기반 음성 생성에서도 우수한 성능

🎯 왜 이것이 게임 체인저인가? :

기존 방식: 임베딩 공간을 거쳐 음향 압축 → 복원 → 생성

새 방식: 원시 파형 공간에서 직접 학습 → 복잡한 압축 없이도 고해상도 음향 생성