刁海文现为南洋理工大学博士后议论员，主要从事原生多模态大模子、主意生成体化及具身智能等向议论，商酌使命包括 EVE系列、NEO系列 与 DynamicVLA 等议论。其合营师刘子纬为南洋理工大学筹备机与数据科学学院教学，恒久聚焦于多模态学习、生成式东说念主工智能及 3D 视觉等向议论。本使命同期与商汤议论院、大连理工大学等机构合营完成。

刻下多模态大模子都在图像「进门」前

就被压缩了

今天险些扫数主流视觉谈话模子（VLM）—— 论是 Qwen-VL、InternVL，照旧 LLaVA 系列 —— 都效用着同套经典架构：先用预侦察视觉编码器（如 CLIP、SigLIP）将图像压缩为特征，再通过投影层把这些特征送入大谈话模子。

这套「视觉编码器 + 投影层 + 大模子」的模块化范式十分得胜，但也有个前提：视觉信息在干涉理之前，就依然被压缩和过滤，部分细节不能避地丢失了。

NEO-ov 思挑战的恰是这假定：要是径直抛开视觉编码器，让模子从原始像素路学到谈话，会怎么样？

谜底是：不仅可行，何况果出。在细粒度感知和空间主意等任务上，NEO-ov 甚而过了不少依赖视觉编码器的强模子，展现出端到打量觉谈话建模的后劲。

论文标题：From Pixels to Words – Towards Native One-Vision Models at Scale

团队：南洋理工大学 S-Lab、商汤议论院、大连理工大学

论文：https://arxiv.org/abs/2605.28820

代码：https://github.com/EvolvingLMMs-Lab/NEO

「编码器 + 大模子」的老办法

不机动、不省钱、不好扩

论文将传统「视觉编码器 + 大模子」范式的局限抽象为三个面：

机动不及。 图像编码器擅长静态图像，却清寒时序建模技艺；编码器强调时间动态，又难以兼顾单图和图文交错输入。论哪种，都很难在浅层收尾视觉与谈话的充分交互，难统贬责单图、多图和等不同模态。

率受限。 视觉与谈话模块相互解耦，侦察和化历程被割裂，还需要非凡承担跨模态对皆的资本。靠近长或分辨率输入时，视觉编码器的筹备支出急剧增多，同期法哄骗 KV Cache，对流式、及时主意并不友好。

延伸辛苦。 模块化想象条目在视觉编码器息兵话模子之间不停衡量参数界限与算力分拨，使得模子缩放、侦察化和部署都受到非凡拘谨。

层的问题在于，现存视觉编码器（如 CLIP）主要为图文对皆而想象，热心层语义，却往往会丢失纹理、局部几何故及细巧空间结构等信息。恶果是，谈话模子履行上是在套「被语义过滤过」的视觉表征上进行理，而不是实在靠近原始视觉信号。这种信息失掉在依赖跨视角、跨帧主意的空间智能任务中尤为明，也恰是 NEO-ov 但愿冲破的中枢瓶颈。

NEO-ov 扔掉编码器

让像素径直进大模子

NEO-ov 的核神志念不错浓缩成句话：莫得外部编码器、莫得适配器、莫得过后交融 —— 视觉感知、时序建模和跨模态对皆，一起在同个统骨架中端到端学习。它设立在前作 NEO 的基础上中卫罐体保温厂家，将原生视觉谈话建模从单图延伸到单图、多图、乃至空间智能任务，变成了套统框架。其中有几个要害想象值得热心。

用两层卷积当「像素进口」，不再过安靖的编码器

与主流 VLM 依赖 CLIP 等视觉编码器不同，NEO-ov 径直从原始像素动身，仅用两层卷积和 GELU 组成轻量视觉进口。经过两次下采样后，每个 32×32 图像区域都会被映射为个视觉 token。

随后，这些视觉 token 被 和记号包裹，与文本 token 起组成统序列，送入同个 Transformer。视觉主意、谈话建模和跨模态对皆不再由不同模块单干完成，而是在统骨架中端到端学习。

「时间 + + 宽」解耦，同期建模时序和空间

这是模子能够「统时空」的要害。它将顾惜力头的维度式拆分为三部分：

T（时间）分支：继承自原始大谈话模子，崇敬建模文本规则、跨图关系以及跨帧依赖；

H、W（空间）分支：新增的二维空间维度，门描述图像里面的空间结构与位置关系。

配套的 Native-RoPE 位置编码逾越将时间和空间解耦建模：文本 token 仅保留时间索引；图像 token 在同张图像内分享时间索引，并通过 H/W 索引编码其空间位置。

单图、多图、，澈底排成同条序列

单图：在位置插入视觉 token。每张图都会按照原始分辨率立编码，token 数目随图像尺寸自稳当变化，而不是被压缩到固定预算中。模子能够保留多局部细节，对细粒度比较、办法定位和空间敏锐任务尤其成心。

多图：每张图都被视为序列中的个立视觉单位，与文本样按照输入规则摆设。模子需非凡想象跨图模块，就能径直哄骗统顾惜力机制设立图像之间的关联。

：将采样为些许帧，每帧都行为个带时间戳的图像单位插入序列，并在开端添加个全局前缀，用于纪录时长、采样帧数和采样率等信息。这么来，本色上被暗意为「按时间摆设的多张图像」，主意与多图主意当然统到同套框架之中。

图片里面「相互看」，图片和翰墨之间「往前看」

每张图像或帧都会被视为个立的「视觉单位」：

单位里面：视觉 token 之间采选双向顾惜力，充分建模图像里面的空间结构；

单位之间：保捏自追思（因果）机制，每个单位都能有观看其之前出现的扫数文本和视觉 token。

这么来，跨图比较和时序理从底层的 patch token 就依然启动，铁皮保温施工并跟着相聚层数加不停细化，而不是像传统模块化 VLM 那样，只可在视觉编码器压缩后的表征上进行理。

步骤渐进的三阶段喂数据

NEO-ov 采选步骤渐进的三阶段侦察案，数据界限、分辨率和任务复杂度逐步栽植：

阶段｜预侦察：使用约 2000 万图文对（包含大量姿色字幕和 OCR 数据），仅侦察视觉商酌新增模块，先将视觉表征对皆到谈话空间，同期尽量保留原有谈话技艺。

阶段二｜中期侦察：使用近 6000 万多模态样本，图像分辨率从 256² 栽植至 4096²，长延伸到 128 帧；一起参数集结化，高下文长度从 16K 增至 36K，强化分辨率感知和时空理技艺。

阶段三｜监督微调：使用约 600 万质料教导数据（单图、多图和），隐匿视觉问答、OCR、细粒度感知、时序理、数学分析和复杂对话等任务，逾越栽植综合技艺。

模子界限面，团队基于 Qwen3-1.7B 和 Qwen3-8B 分裂侦察了 NEO-ov 2B 和 NEO-ov 9B 两个版块。

单图和有竞争力

空间智能反「用模子」

图像主意：原生 VLM 的新 SOTA。在 2B 和 9B 两个界限上，NEO-ov 都刷新了原生 VLM 的能上限，过 EVE、Mono-InternVL、OneCAT、SAIL 等同类使命，在 MMMU、HallusionBench、InfoVQA 等强调遣技艺和抗幻觉技艺的基准上势尤为明。值得热心的是，在不依赖预侦察视觉编码器的情况下，NEO-ov 依然能够在多个感知与理基准上追平甚而过 InternVL3.5、Qwen3-VL 等顶模块化模子，评释了端到端原生架构相同具备竞争强 VLM 的后劲。

多图与主意：原生架构次具备与主流 VLM 正面竞争的实力。比较 Fuyu、EVE、ELVA 等此前的原生模子，NEO-ov 在 VideoMME、MVBench、MLVU 等基准上收尾了大幅先，展现出强盛的时序理和长高下文主意技艺。蹙迫的是，在 BLINK、MUIRBench、LongVideoBench 等多图与长任务上，NEO-ov 依然能够与 VideoLLaMA3、InternVL3.5 等顶模块化模子正面竞争。这标明原生架构不仅能作念好单图主意，也具备了贬责复杂时空信息的技艺。

空间智能：NEO-ov 亮眼的冲破。行为个通用原生模子，NEO-ov 在几何理、空间感知和具身主意等空间智能任务上，依然达到甚而过 Cambrian-S、Sensenova-SI、GeoThinker 等门想象的模子。在 ViewSpatial、3DSR、SPAR 等基准上，它相较其他通用 VLM 也展现出明势。这标明 NEO-ov 的势不仅体目下感知和理技艺上，体目下对空间关系和三维结构的主意技艺上。

断绝看：为什么原生架构在空间任务上占低廉

原生顾惜力于视觉编码器：在公说念对比下，NEO-ov 的 Pre-Buffer 机制在 OCR 和空间智能任务上明于传统视觉编码器，阐明保留丰富的「像素 - 像素」和「像素 - 词」交互，比依赖压缩后的视觉表征有。

浅层交互成心于空间智能：在交流空间智能数据上微调时，NEO-ov 的栽植幅度著大于 InternVL3.5、Qwen3-VL 等编码器模子，标明跨模态交互越早发生，对空间理越有匡助。

渐进式侦察捏续有：从预侦察到中期侦察，2B 和 9B 两个版块的能都厚实栽植，其中小模子收益尤为明。

还有哪些没作念好：

OCR、文档，以及和顶模子的差距

论文也莫得逃匿短板: NEO-ov 目下在部分单图和基准上，它与 Qwen3-VL 等模子仍有差距，这可能与侦察数据的界限和质料关联。OCR 和文档主意亦然个相对明的短板：比较模块化模子，NEO-ov 短缺门针对 OCR 的预侦察，因此在这类任务上进展不够凸起。换句话说，原生多模态建模的势依然启动现，但远莫得到达上限。后续要是能继续扩大模子界限、丰富侦察数据，并加强长高下文侦察，这路子仍有很大的栽植空间。

它实在思说的：

不靠组装，多模态智能也能我方「长」出来

NEO-ov 思传达的，其实是个对于多模态智能来源的判断：多模态智能无意只可来自全心想象的视觉编码器、适配器和交融模块，也可能从个原生、统、端到端的架构中当然闪现。

实验标明，解脱视觉编码器的原生视觉谈话模子不仅可行，何况在界限化之后依然具备与顶模块化系统竞争的实力。对这条时刻路子而言，NEO-ov 梗概还不是至极，但疑是块蹙迫的进展。它让「原生统的视觉基础模子」从个理思，变成了条正在被考证的现实旅途。联系人：何经理相关词条:离心玻璃棉     塑料挤出机     钢绞线厂家    铝皮保温    pvc管道管件胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。