GitHub 仓库
查看中文 README、示例和源代码。
mJev-Qwen3-VL-4B-RLCD
查看基于 Qwen3-VL-4B-Instruct 微调的模型并下载权重。
六秒视频示例
项目用Qwen3-VL-4B-Instruct 和 Transformers 后端回答了六秒动画中的三个问题。下方命令使用公开记录中的同一模型版本、输入和采样设置。
原始视频 · 完整输出
准备环境
准备 Linux、Python 3.11 或更高版本、兼容的 NVIDIA 驱动和系统 FFmpeg。项目公布的六秒视频推理记录来自单张 24 GB NVIDIA GPU。torchcodec 的 CPU 软件包负责视频解码,推理由 GPU 上的 PyTorch 执行。
运行视频示例
在仓库根目录运行以下命令。示例 JSON 包含视频路径、采样参数和三道题。命令使用编号为0 的 GPU,开启前缀缓存并对三个问题做批处理。
outputs/motion-demo.json 查看结果。仓库中的视频示例输入
要用微调版 mJev 跑同一个视频,请下载 SoMarkAI/mJev-Qwen3-VL-4B-RLCD,将上方命令的 --model 指向该模型的本地目录,并换一个 --output 路径,方便对照两份结果。微调模型下载和运行说明
使用自己的媒体
把下面的 JSON 保存为task.json,把 clip.mp4 放在同一目录,并将命令中的 --input 指向 task.json。media_path 相对于输入 JSON 所在目录解析。视频任务建议设置采样频率和帧数上限,以便复现结果。
"modality": "image",将 media_path 改为图片路径,并移除 video_options。纯音频使用 audio,需要同时分析画面和音轨时使用 audio_video。这两种音频输入使用 Qwen3-Omni 模型,依赖和启动步骤见 Transformers 部署指南。
读取结果
输出 JSON 是一个数组,每道题对应一条结果。decision 是模型选择的候选项。candidates 列出所有候选项及其 raw_logit 和 probability。这些概率按本题提供的候选集合归一化,probability_sum 记录它们的总和。
每道题的候选答案须为非空且互不重复的文本。Transformers 示例脚本默认限制完整输入为 4,000 个 token,超过限制时会报错。如需在加载模型权重前检查输入长度和候选标签,加入 --check-only 并省略 --output,将检查结果输出到终端。
得分并列时,mJev 选择输入顺序中靠前的候选项。
模型与输入
两个模型使用相同的问题和候选项格式。
公开评测
- 准确率:在
mJev-Compositional-VQA的同一组 195 道题上,基础模型答对 152 题(77.95%),微调后的 mJev 模型答对 156 题(80.00%)。这组题未用于强化学习训练。模型卡与评测结果 - 前缀缓存:项目用单张 24 GB NVIDIA GPU 对同一段视频测试 16 道题,开启缓存后整组耗时从 32.62 秒降至 6.29 秒,峰值已分配显存从 15.80 GiB 升至 20.60 GiB。项目也记录了短输入和单题配置的结果。缓存评测条件

