Jupyter Notebook插入图片和视频展示模型输出效果-程序员充电站

Jupyter Notebook 插入图片和视频展示模型输出效果

在深度学习项目中，我们常常面对这样的场景：模型已经训练完成，推理结果也生成了图像或视频，但如何快速、直观地向团队成员或评审者展示这些成果？仅仅输出一串准确率数字显然不够有说服力。尤其是在图像分割、目标检测、风格迁移或视频行为识别任务中，“看”比“读”更有效。

这时候，Jupyter Notebook 的富媒体能力就显得尤为关键。它不仅是一个写代码的地方，更是一个集实验记录、结果可视化与汇报演示于一体的交互式工作台。结合现代容器化技术（如 PyTorch-CUDA 镜像），我们可以实现从环境搭建到动态展示的无缝衔接——无需折腾依赖，不用切换工具，一切都在一个.ipynb文件里搞定。

为什么选择 PyTorch-CUDA 镜像？

很多开发者都经历过“环境地狱”：CUDA 版本不匹配、cuDNN 缺失、PyTorch 安装失败……而pytorch-cuda:v2.7这类镜像正是为解决这些问题而生。它本质上是一个预配置好的 Docker 容器，内置了：

特定版本的 PyTorch（这里是 v2.7）
对应的 CUDA 工具链（通常是 11.8 或 12.1）
cuDNN、NCCL 等高性能库
Jupyter Lab/Notebook 服务
常用工具链（git、ffmpeg、vim、wget）

启动命令简单得令人愉悦：

docker run --gpus all -p 8888:8888 pytorch-cuda:v2.7

运行后，终端会输出一个带 token 的访问链接，浏览器打开即可进入开发界面。整个过程几分钟完成，且保证团队内所有人使用完全一致的环境，彻底告别“在我机器上能跑”的尴尬。

更重要的是，这个镜像对可视化友好。GPU 加速让模型推理更快，Jupyter 集成则让我们能立即看到结果——这种“推理 → 输出 → 展示”的闭环效率，是传统脚本+命令行无法比拟的。

如何在 Jupyter 中插入图片？

最直接的方式是使用IPython.display.Image：

from IPython.display import Image, display # 显示本地图片 display(Image(filename='./output/generated_image.png', width=600))

也可以加载网络图片：

display(Image(url='https://example.com/result.jpg', width=500))

filename和url二选一，width和height控制显示尺寸。如果你只是想在 Markdown 单元格里加个示意图说明，标准语法也完全支持：

![输入与预测对比](./results/comparison.png)

简洁明了，适合文档化表达。

但真正实用的是批量展示。比如在语义分割任务中，我们通常希望并排查看原始图像、真实标签和模型预测结果。这时可以用 HTML + CSS 实现网格布局：

from IPython.display import HTML def display_images_side_by_side(image_paths, width=300): html_str = "<div style='display: flex; gap: 10px; margin: 10px 0;'>" for img in image_paths: html_str += f"<img src='{img}' width='{width}' style='border: 1px solid #ddd;' />" html_str += "</div>" return HTML(html_str) # 示例调用 image_list = [ "./results/input.jpg", "./results/gt_mask.png", "./results/pred_mask.png" ] display_images_side_by_side(image_list)

这种方式灵活可控，还能加上边框、间距等样式提升可读性。对于需要频繁对比的实验分析来说，封装成函数复用非常方便。

视频怎么嵌入？自动播放能实现吗？

视频展示在动作识别、时序建模、强化学习回放等任务中至关重要。幸运的是，Jupyter 支持原生<video>标签和Video模块两种方式。

方法一：使用`IPython.display.Video`

from IPython.display import Video # 播放本地视频 Video("./output/demo.mp4", embed=True, width=720, height=480, autoplay=True, muted=True)

这里的关键参数有三个：

embed=True：将视频数据编码为 base64 内嵌进 notebook，优点是文件独立可分享，缺点是体积膨胀；
autoplay=True：自动播放；
muted=True：静音——这是绕过浏览器自动播放策略的必要条件。

如果不希望增大 notebook 体积，可以设embed=False，保留外部路径引用：

Video("https://your-bucket.s3.amazonaws.com/output.mp4", embed=False)

适用于大文件或云端存储场景。

方法二：使用 HTML5`<video>`标签

如果需要更多控制选项（如进度条、循环播放），推荐使用原生 HTML：

from IPython.display import HTML HTML(""" <video width="800" height="600" controls autoplay muted loop> <source src="./output/segmentation_result.mp4" type="video/mp4"> 您的浏览器不支持 video 标签。 </video> """)

controls属性启用播放控件，用户可以手动暂停、拖动；loop实现循环播放，在演示时特别有用。而且由于使用的是标准 HTML5，兼容性良好，Chrome、Firefox、Edge 都没问题，只有 Safari 对自动播放限制较严，建议测试时优先用其他浏览器。

实际工作流：从模型推理到可视化

假设我们在做一个视频人体姿态估计任务，流程如下：

加载模型

import torch model = torch.hub.load('pytorch/vision', 'resnet50', pretrained=True) model.eval().cuda() # 使用 GPU 推理

处理视频帧序列

使用 OpenCV 读取视频，逐帧推理，并将输出叠加到原图上保存为新视频：

import cv2 from PIL import Image import numpy as np cap = cv2.VideoCapture("input_video.mp4") fourcc = cv2.VideoWriter_fourcc(*'mp4v') out = cv2.VideoWriter('output.mp4', fourcc, 20.0, (int(cap.get(3)), int(cap.get(4)))) with torch.no_grad(): while cap.isOpened(): ret, frame = cap.read() if not ret: break # 预处理 → 模型推理 → 后处理 → 叠加关键点 result_frame = inference_and_draw_keypoints(frame, model) out.write(result_frame) cap.release() out.release()

立即展示结果

不需要退出 notebook，直接嵌入刚刚生成的视频：

from IPython.display import Video Video("output.mp4", embed=False, width=800, autoplay=True, muted=True)

几秒钟后，你就能在 notebook 里看到模型处理后的动态效果。这种即时反馈极大提升了调试效率——哪里漏检了、动作延迟了，一眼就能发现。

常见问题与最佳实践

❌ 浏览器不让视频自动播放？

几乎所有现代浏览器都禁止未静音的自动播放。解决方案很简单：加上muted=True。

Video("demo.mp4", autoplay=True, muted=True)

虽然牺牲了声音，但在大多数视觉任务中影响不大。

⚠️ 大视频导致 notebook 卡顿？

避免使用embed=True插入超过 100MB 的视频。大文件会显著增加 notebook 加载时间，甚至导致崩溃。建议：

小片段（<30秒）可内嵌；
长视频使用外链 +embed=False；
或先压缩至 720p 分辨率再插入。

🧩 如何统一绘图风格？

为了保持 notebook 整洁专业，建议统一可视化风格。例如：

%matplotlib inline import matplotlib.pyplot as plt plt.style.use('default') # 或 seaborn-v0_8

同时将常用可视化逻辑封装成模块：

def visualize_segmentation(input_img, pred_mask, alpha=0.5): blended = cv2.addWeighted(input_img, 1-alpha, pred_mask, alpha, 0) return Image.fromarray(blended)

这样每次只需调用函数，无需重复写渲染逻辑。

🔐 安全提示

不要随意执行包含远程资源加载的 notebook，尤其是来自不可信来源的：

Image(url="http://malicious.site/tracker.png") # 可能用于追踪

生产环境中应限制 notebook 的文件系统权限，防止敏感信息泄露。

总结与展望

在一个理想的 AI 开发流程中，代码、数据与可视化应当三位一体。借助PyTorch-CUDA这类容器化镜像，我们获得了开箱即用的高性能运行环境；而通过 Jupyter Notebook 的多媒体支持能力，则实现了模型输出的即时呈现。

无论是单张图像的对比展示，还是多帧视频的动态播放，都可以在同一个交互式文档中完成。这不仅提高了个人开发效率，也让团队协作更加顺畅——评审者不再需要下载附件、运行脚本来验证结果，一切都在 notebook 中清晰可见。

未来，随着 WebAssembly 和 WASM-GPU 等技术的发展，Jupyter 的可视化能力还将进一步增强，甚至可能实现在浏览器端直接运行轻量级模型推理。但至少目前，“代码 + 图片 + 视频”依然是最高效的沟通语言。

掌握这套技能，意味着你能更快地发现问题、更好地讲述模型故事，也更容易赢得合作方的信任。这不是锦上添花，而是现代 AI 工程师的核心竞争力之一。

Jupyter Notebook插入图片和视频展示模型输出效果