图像处理是 AI 最早落地也最成熟的领域之一。但大多数人不知道的是,把你日常遇到的图像问题——抠图、修复、放大、人脸修复——全部用开源工具覆盖,只需要这五个项目就够了。
rembg:最纯粹的抠图工具
Daniel Gatis 写的 rembg,28K Star,是目前最受欢迎的开源抠图工具。核心原理一句话:用 ONNX Runtime 跑一 预训练的深度学习模型,输出透明背景图。
技术选型上最聪明的一点是 ONNX Runtime。不是 PyTorch,不是 TensorFlow——ONNX 是一个跨平台的推理引擎,不需要 GPU 也能跑(CPU 推理完全可用),部署极度简单。一个pip install 就能用。
它提供了 10+ 种预训练模型,从通用的 U²-Net、ISNet、BiRefNet,到专门的人体分割、衣物分割、动漫分割。每个模型自动下载到~/.u2net/ 目录,切换模型只需要改一个参数。
使用方式也全:CLI(rembg i input.png output.png)、Python 库、HTTP 服务器、Docker、Windows exe。覆盖了”设计师一键抠图”到”后端批量处理”的所有场景。
这也是整个链条上最没有争议的环节——抠图的需求几十年没变过,AI 只是把它从”Photoshop 钢笔工具选半天”变成了”一行命令搞定”。

Real-ESRGAN:整个 AI 超分的基石
xinntao(王鑫涛)做的 Real-ESRGAN,是这五个项目里学术影响力最大的一个。CVPR 2021 论文,被引用量极高,几乎所有开源的 AI 图像放大工具都直接或间接建立在它的基础上。
核心创新是”纯合成数据训练盲超分”——用模拟的降质过程生成训练数据,让模型学会处理真实世界中复杂的图像退化(模糊、噪声、压缩伪影)。这个方法后来被广泛沿用。
技术栈是 PyTorch + BasicSR,提供了针对通用场景、动漫场景、视频场景的多个预训练模型。同时也提供了 NCNN 版本的便携式可执行文件,不需要 Python 环境就能跑。
Upscayl(后面会讲)的核心引擎用的就是 Real-ESRGAN。

GFPGAN:腾讯 ARC 出品的人脸修复
同样是 xinntao 参与的项目(这次在腾讯 ARC 实验室),同样是 CVPR 2021。GFPGAN 做的事情非常垂直:把模糊、低分辨率的人脸照片修复清楚。
它的技术思路是”用 StyleGAN2 的先验知识做盲人脸修复”——大模型的生成先验(StyleGAN2 里已经学到的人脸知识)指导修复过程,比纯降噪算法的效果好得多。
提供了 V1.0 到 V1.4 四个版本:V1.2 输出更锐利(有美颜效果),V1.3 输出更自然,V1.4 在两者之间取得平衡。用户可以根据输入质量选择。
它的定位是工具链里的一个专用模块——不解决”让整张图变清晰”的问题,只解决”图上人脸是糊的”这个问题。而 IOPaint 和 Real-ESRGAN 都支持将其作为插件集成,说明它在生态中的位置就是一个”可插拔的人脸修复单元”。

IOPaint:最全能的图像修复工作台
IOPaint 是这五个项目里功能最丰富的一个。它不是一个单一功能的工具,而是一个Web UI 形式的 AI 图像编辑工作台:
- 擦除(Erase)——用 LaMa 模型移除不需要的物体、水印、划痕
- 替换(Inpaint)——用 Stable Diffusion Inpainting 系列模型替换选中区域的内容”帮我用生成的树填上”
- 扩图(Outpainting)——用 PowerPaint 把画面向外扩展
- 绘制文字——用 AnyText 在图片里添加或替换文字
更关键的是它把其他四个项目的功能全收了——作为插件集成:
- Real-ESRGAN → 超分辨率插件
- GFPGAN → 人脸修复插件
- rembg → 背景移除插件
- Segment Anything → 交互式对象分割插件
这意味着你可以在 IOPaint 的 Web UI 里,完成从”抠图”到”修复”到”放大”到”人脸修复”的完整流程,不需要切换工具。
IOPaint 的核心维护者 Sanster 是个中国开发者,项目完全开源、自托管。最新版是 2025 年 3 月的 v1.6.0,目前处于维护模式,但功能齐全。
Upscayl:让超分辨率变成桌面应用
Upscayl 相对前四个项目的定位不同——它不在图像处理的技术链条上,而是在部署层。
前面四个项目都是 Python 工具,使用门槛相对高。Upscayl 用 Electron + Next.js 把它们封装成了一个跨平台的桌面应用(Windows、macOS、Linux),用户不需要装 Python、不需要写命令、不需要理解什么是模型推理。
背后调用的是upscayl-ncnn(基于 NCNN 的推理后端),核心算法是 Real-ESRGAN,同时集成了多个社区贡献的优化模型(Remacri、Ultrasharp、Ultramix Balanced)。
1,114 次提交,v2.15,持续活跃。App Store 上线、Flathub 上线、Homebrew 可安装——工程化程度在这五个项目里是最高的。
这个生态的结构
把这五个项目放在一起,可以看到一个清晰的生态分层:
应用层 — Upscayl(桌面 GUI) │ 工具层 — IOPaint(Web UI 工作台) │ 算法层 — rembg(抠图)│ Real-ESRGAN(超分)│ GFPGAN(人脸修复) │ 研究层 — 论文产出(CVPR 2021)
底层是学术研究(xinntao 的 Real-ESRGAN 和 GFPGAN 论文),中间层是算法实现(rembg 的 ONNX 推理、IOPaint 的扩散模型集成),上层是用户体验封装(Upscayl 的桌面应用)。
相互之间的依赖也很清晰:Upscayl 的核心依赖 Real-ESRGAN,IOPaint 集成了 rembg、Real-ESRGAN、GFPGAN 作为插件。上游研究→中间工具→上层产品,这条链路走得非常顺。
这些工具怎么选
| 需求 | 用哪个 |
|---|---|
| 一键抠图 | rembg(命令行/API) |
| 图片去水印/修复 | IOPaint(Web UI) |
| 低分辨率图放大 | Real-ESRGAN(CLI)或 Upscayl(桌面端) |
| 老照片人脸修复 | GFPGAN |
| 一整套工具箱 | IOPaint(插件全开) |
| 不想写代码就想用这些工具 | Upscayl |
每个工具单独用都能干活,串起来用能覆盖从”修图”到”放大”到”修复”的完整工作流。而且全部开源、免费、可本地部署。这在 AI 时代反而是个挺奢侈的事情。
rembg: https://github.com/danielgatis/rembg
Upscayl: https://github.com/upscayl/upscayl
IOPaint: https://github.com/Sanster/IOPaint
Real-ESRGAN: https://github.com/xinntao/Real-ESRGAN
GFPGAN: https://github.com/TencentARC/GFPGAN
评论列表 (0条):
加载更多评论 Loading...