識
AI Academy Review
Nghiên cứu · Công nghệ · Đời sống
Thứ Hai, 10/08/2026Quản trị
Nghiên cứu

Mage-VL: mô hình video streaming 'codec-native' của Microsoft

10/8/2026

Microsoft Mage Team · arXiv:2607.24904 (27/07/2026) · Project page: microsoft.github.io/Mage/vl

1. Bài toán và động lực

Các mô hình vision-language (VLM) hiện nay xử lý video rất tốt ở chế độ offline (suy luận phức tạp trên vài khung hình được lấy mẫu thưa), nhưng lại chậm và tốn tính toán khi phải xử lý luồng video liên tục, thời gian thực — hiện tượng nhóm tác giả gọi là “nghịch lý Moravec” phiên bản hiện đại của VLM. Nguyên nhân gốc rễ: các encoder thị giác được huấn luyện trên ảnh tĩnh quy mô web, sau đó áp dụng lấy mẫu khung hình đều (uniform frame sampling) cho video — mã hoá lặp lại cả những vùng nền tĩnh không đổi giữa các khung, khiến chi phí tính toán tăng tuyến tính theo thời lượng video.

Lấy cảm hứng từ thị giác sinh học (lọc bỏ tín hiệu nền dư thừa, ưu tiên vùng chuyển động, kết hợp một hệ thống phản xạ nhanh với một hệ thống suy luận chậm), nhóm tác giả đề xuất Mage-VL — một mô hình nền tảng streaming, “codec-native”: xử lý video theo đúng cách một bộ mã hoá video (codec) đã làm, tức là chỉ tập trung token thị giác vào những vùng có chuyển động/thông tin mới.

2. Mage-ViT — bộ mã hoá thị giác “codec-native”

Thành phần lõi là Mage-ViT, một tokenizer thị giác tuỳ biến thay thế việc lấy mẫu khung hình đều bằng cách chọn lọc các vùng patch giàu thông tin (entropy cao) dựa trên vector chuyển động (motion vectors) và năng lượng phần dư (residual energy) — hai tín hiệu mà các codec video (H.265/HEVC) đã tính sẵn.

Chia video thành khung neo (I-frame, giữ nguyên toàn bộ patch) và khung dự đoán (P-frame, chỉ giữ patch có chuyển động/thay đổi thật sự).

  • Hoạt động ở mức patch 16×16; với clip 64 khung, chỉ chọn 4096 token trong tổng số ~16.000 token khả dĩ → giảm khoảng 75% số token thị giác mà vẫn giữ được ngữ cảnh không gian – thời gian.
  • Được huấn luyện từ đầu (from scratch) chỉ với ~560 triệu ảnh và ~100 triệu khung video không nhãn — ít hơn nhiều so với các encoder cỡ tỷ ảnh-văn bản như SigLIP2 — nhưng đạt độ chính xác tương đương hoặc vượt trên nhiều benchmark ảnh/video.
  • Dùng positional encoding xoay 3D dùng chung (shared 3D RoPE) để bảo toàn toạ độ không gian–thời gian gốc dù phần lớn lưới patch đã bị loại bỏ.
  • Có tính bền vững qua nhiều họ codec khác nhau: dù huấn luyện với HEVC, khi thay bằng codec thần kinh DCVC-RT lúc suy luận (không cần huấn luyện lại) hiệu năng gần như không đổi, đồng thời còn giảm thêm số token trung bình.

3. Mage-VL — kiến trúc hợp nhất và streaming chủ động

Mage-VL ghép Mage-ViT với LLM Qwen3-4B-Instruct-2507 làm decoder ngôn ngữ nhân quả, qua một projector MLP 2 lớp. Cùng một mô hình phục vụ được cả 4 chế độ: ảnh tĩnh, video ngắn/dài, hỏi-đáp theo yêu cầu người dùng, và bình luận sự kiện theo thời gian thực (proactive streaming) — không cần mô hình riêng cho từng chế độ.

Cơ chế streaming chủ động dựa trên kiến trúc “dual-system” lấy cảm hứng sinh học:

  • System 1 — cognition gate: một mạng nhẹ liên tục đánh giá cửa sổ codec-token gần nhất và dự đoán xác suất “nên nói” (p_speak); chỉ khi p_speak vượt ngưỡng τ, hệ thống mới kích hoạt phản hồi.
  • System 2 — LLM decoder: khi cổng mở (SPEAK), mô hình dùng một cửa sổ trượt các đoạn thị giác codec gần nhất để sinh bình luận theo ngữ cảnh sự kiện; khi cổng đóng (SILENT), mô hình im lặng, không sinh token nào.

Hình 1. Kiến trúc streaming chủ động của Mage-VL: Mage-ViT trích đặc trưng thị giác dùng chung cho cả cổng sự kiện (gate) và bộ giải mã ngôn ngữ; mô hình chỉ sinh bình luận khi cổng mở (nguồn: trang dự án Mage-VL, Microsoft).

4. Dữ liệu và pipeline huấn luyện

Bộ dữ liệu huấn luyện gồm khoảng 350 triệu cặp ảnh-caption, 54 triệu mẫu chỉ dẫn ảnh, 7,95 triệu mẫu video-caption và 3,35 triệu mẫu streaming. Mô hình được huấn luyện qua 5 giai đoạn tăng tiến: (1) căn chỉnh đa phương thức qua caption dày đặc, (2) tinh chỉnh theo chỉ dẫn + temporal grounding ngắn, (3) mở rộng ngữ cảnh thời gian với video dài, (4) thích ứng codec-native cho ngữ cảnh dài, (5) tinh chỉnh cognition gate cho streaming chủ động (chỉ huấn luyện phần gate, đóng băng toàn bộ backbone thị giác + ngôn ngữ).

Một điểm đáng chú ý là pipeline “AI4AI”: một vòng lặp tự động dùng Qwen3-VL-32B để sinh caption, GPT-5 chấm điểm theo 4 tiêu chí (đầy đủ, dư thừa, mạch lạc, độ chính xác OCR), rồi một agent GitHub Copilot đề xuất chỉnh sửa prompt/harness code, được người kiểm duyệt trước khi chấp nhận — lặp lại 10 vòng để tối ưu prompt captioning.

5. Kết quả thực nghiệm chính

5.1 Hiệu năng so với các mô hình cùng lớp 4B (và Phi-4-R-V 15B)

Mage-VL-4B và Qwen3-VL-4B dùng chung một LLM 4B, chỉ khác phần front-end thị giác — nên đây là phép so sánh trực tiếp giá trị của thiết kế codec-native. Mage-VL ngang bằng Qwen3-VL-4B trên các tác vụ ảnh tĩnh (VQA tổng quát), nhưng vượt trội rõ rệt trên video hiểu sâu, temporal grounding và suy luận không gian 2D/3D — đồng thời vượt xa Phi-4-Reasoning-Vision dù mô hình này có tới 15B tham số.

Hình 2. So sánh điểm số trên một số benchmark video/spatial tiêu biểu (dữ liệu từ Bảng 3–4 của báo cáo kỹ thuật).

Benchmark Mage-VL-4B Qwen3-VL-4B Phi-4-MM (5.6B) Phi-4-R-V (15B)
VideoMME 64.0 59.7 44.7 55.3
MLVU-dev 68.7 61.5 44.18 51.8
LongVideoBench 61.3 57.7 41.14 51.2
VSI-Bench (spatial) 64.3 53.3 24.09 25.5
NextQA 83.1 79.8 54.1 69.0
Timelens-Charades (grounding) 50.7 43.1 4.09 20.6
DocVQA-val 95.14 94.69 92.79 76.20
CV-Bench-3D 94.75 92.30 56.92 82.50

5.2 Hiệu quả suy luận (đánh đổi độ chính xác – thời gian)

Nhờ biểu diễn thị giác thưa theo codec, Mage-VL đạt tốc độ suy luận nhanh hơn tới 3,5 lần so với lấy mẫu khung đều ở cùng ngân sách token. Ba cấu hình vận hành (tc8/tc16/tc32) cho phép đánh đổi linh hoạt giữa độ trễ và độ chính xác; ngay cả cấu hình nhẹ nhất (tc8) vẫn giữ được phần lớn chất lượng so với cấu hình đầy đủ.

Hình 3. Thời gian suy luận thực đo (wall-clock) trên benchmark MLVU-dev, 8×GPU B200 (dữ liệu từ Bảng 5 của báo cáo kỹ thuật).

5.3 Streaming thời gian thực

Trên SoccerNet-Caption (giao thức đánh giá của StreamMind), cổng sự kiện của Mage-VL đạt TriggerAcc 79,21% và TimVal 55,54% — vượt StreamMind (52,18% / 47,36%) dù mô hình này được huấn luyện in-distribution ngay trên tập này, và tránh được lỗi thiên vị “luôn im lặng” mà JoyAI-VL-Interaction-9B mắc phải (TriggerAcc cao ảo 97,98% nhưng TimVal chỉ 19,25%). Trên OVO-Bench (đánh giá nhận thức streaming), Mage-VL đạt điểm tổng 64,00% — cao nhất trong nhóm kiến trúc streaming, mà không cần fine-tune chuyên biệt hay bộ nhớ ngoài phức tạp.

6. Bảy phát hiện thực nghiệm chính

  1. Huấn luyện quy mô web không phải điều kiện tiên quyết: Mage-ViT chỉ dùng ~560M ảnh/100M khung video vẫn cạnh tranh được với encoder huấn luyện trên hàng tỷ cặp ảnh-văn bản (SigLIP2).
  2. Huấn luyện đa độ phân giải (variable-resolution) giúp chất lượng biểu diễn tăng đơn điệu theo ngân sách token, trong khi các encoder độ phân giải cố định bị suy giảm khi vượt ngưỡng huấn luyện.
  3. Token hoá theo codec tạo ra đường biên hiệu quả–độ chính xác vượt trội, đạt speedup tới 3,5 lần.
  4. Không cần SFT VideoQA dài chuyên biệt: chỉ cần caption video chi tiết + SFT video ngắn là đủ để đạt khả năng VideoQA dài zero-shot mạnh.
  5. Huấn luyện trên video động cải thiện đáng kể khả năng suy luận không gian 2D/3D tĩnh — xác nhận chuyển động và cấu trúc không gian có tính cộng hưởng.
  6. Pipeline AI4AI (agent đóng vòng lặp + đồng thiết kế prompt/code) cải thiện có hệ thống chất lượng caption và điểm benchmark hạ nguồn.
  7. Bỏ qua visual SFT, thay bằng SFT suy luận thuần văn bản trước khi RL đa phương thức (“Zero-Vision SFT”) mở khoá năng lực RL đa phương thức mạnh hơn, tiết kiệm tính toán — thử nghiệm sơ bộ cho thấy +5,33% độ chính xác trung bình trên 24 benchmark, thắng 19/24 tác vụ, hội tụ với ít hơn 50,7% bước RL.

7. Hạn chế

Mage-VL vẫn còn khoảng cách so với Qwen3-VL trên các tác vụ agentic phức tạp, chủ yếu do ngân sách tính toán hạn chế, chưa có giai đoạn tiền huấn luyện hỗn hợp text-đa phương thức quy mô lớn, và chưa áp dụng RL hậu huấn luyện quy mô lớn. Nhóm tác giả đề xuất hướng “Zero-Vision SFT + RL” như một con đường tiết kiệm chi phí để thu hẹp khoảng cách này.

8. Nguồn

  • Bài báo: arXiv:2607.24904 (arxiv.org/abs/2607.24904)
  • Trang dự án: microsoft.github.io/Mage/vl
  • Code: github.com/microsoft/Mage
  • Mô hình: huggingface.co/microsoft/Mage-VL