当前位置: 首页 > news >正文

Learning Continuous Image Representation with Local Implicit Image Function

Learning Continuous Image Representation with Local Implicit Image Function

LIIF:利用INR实现任意倍数的超分。
代码仓库

动机

img

学习一个从坐标值到RGB值的映射,从而实现任意倍数的超分。

方法

局部隐式图像函数

本文目标为将隐向量\(z\)、坐标\(x\)映射为信号(RGB)\(s\)\(s=f_{\theta}(z,x)\)。其中,坐标是连续的,即目标是拟合一副连续的图像。

由于真实图像只存储了有限的像素点,所以连续图像位置\(x_q\)处的像素值由离散图像上的最近邻\(v^*\)及其对应的隐向量(特征向量)\(z^*\)得到:\(I^{(i)}(x_q)=f_\theta(z^*,x_q-v^*)\)

特征展开

显然,单点的特征组成的特征图\(M^{(i)}\)精度有限,所以用周围\(3 \times 3\)邻域特征的级联进行替换:

\[\hat{M}^{(i)}_{jk}={Concat}(\{ M^{(i)}_{j+l,k+m} \}_{l,m\in{-1,0,1}}) \]

局部编码

img

最近邻这种方法比较离散,在边界处选取的点会突变。因此本文使用周围四点的欧氏距离加权平均实现:

\[I^{(i)}(x_q)=\sum_{t\in \{ 00, 01, 10, 11\}}\frac{S_t}{S} \cdot f_\theta(z_t^*,x_q-v_t^*) \]

单元解码

虽然通过坐标能够直接得到HR图像对应的像素值,但是这样没有考虑放大倍数。因此将放大倍数也作为输入进行控制:

\[s=f_{cell}(z, [x,c]) \]

其中,\(c\)具体为查询的信号对应的区域大小\([c_h, c_w]\)。该函数可以理解为:查询连续图像\(x\)位置上,大小为\(c\)对应区域的像素值。

训练

img

  • 将输入图像随机倍数下采样获得输入。输入经过编码器得到二维特征图。
  • 通过本文的模块与坐标值预测HR(高分辨率)上的像素值,与GT作损失(本文用L1)。

实验

img

img

在任意倍数超分上性能达到SOTA,有良好的视觉效果。

img

单元解码确实能够控制获得的像素对应区域。在\(c\)取值较大时,能够形成类似马赛克的模糊效果。相比于不使用单元更清晰。

总结

本文利用近邻特征及坐标偏移计算连续坐标上的颜色值。某种程度上相当于“高级插值”,只是这一“插值”是通过特征映射到连续图像域\(f_\theta\)上实现。本文巧妙地用隐式神经表示实现了连续图像上的采样与插值过程。不过若严格一点考虑,\(f_\theta\)的输入是特征向量、坐标偏移量、放大倍数,相当于对特征进行了有条件的解码,和一般的图像重建INR有些许的差异。

http://www.hskmm.com/?act=detail&tid=21583

相关文章:

  • Fastadmin开发两个APP端,接口token验证
  • 网易伏羲受邀亮相2025云栖大会,展示AI领域前沿创新成果
  • 2025 年人工智能培训机构最新推荐榜单:前五合规运营与产业适配能力深度解析及选择指南大模型培训/智能体培训/Agent培训机构推荐
  • 9年了 - ukyo-
  • js 获取下一个月时间和下一年的时间
  • 【Rust GUI开发入门】编写一个本地音乐播放器(5. 制作音乐列表组件) - Jordan
  • 【Nordic】nRF9151的SLM例程常用AT指令说明
  • sql server经典语句「转」
  • Codeforces 2149G Buratsuta 3 题解 [ 蓝 ] [ 摩尔投票 ] [ 线段树 ] [ 随机化 ] [ 主席树 ] [ 根号分治 ]
  • 2025 年最新推荐软件开发机构榜:聚焦微服务架构与 724 小时服务的优质厂商精选指南人力资源管理系统/资产管理系统/数据中台管理系统/流程管理系统软件开发公司推荐
  • 【半导体物理 | 学习笔记】第一章 半导体中的电子状态
  • 计数(5):多项式相关
  • 最新WTAPI开发微信机器人教程说明
  • 线性DP - 学习笔记
  • 2025 年最新制氮机厂家权威推荐排行榜:聚焦行业优质厂商综合实力,助力企业精准选购优质设备制氮机产生氮气/氮气纯化/设备改造/维修/保养/半导体用制氮机厂家推荐
  • 2025 年氨分解设备厂家最新推荐榜单:含半导体 / 冶金 / 稀土行业专用设备及品牌综合实力排名
  • 2025 阳台装修公司推荐榜:最新优质厂商资质 / 技术 / 服务测评,杭州浙江地区优选指南杭州阳台装修/浙江阳台装修公司推荐
  • bitset
  • 网易雷火胡志鹏:AI驱动未来,游戏科技重塑虚拟创造力与现实生产力
  • idea打包推送maven仓库及同时推送到不同的maven仓库,本地和云上的腾讯云
  • 2025 阳台柜厂家最新推荐榜:企业资质 / 材质 / 服务全景解析,选对品牌少走弯路杭州阳台柜/浙江阳台柜厂家推荐
  • 2025 年除湿机厂家最新权威推荐排行榜:实力厂家技术口碑评测及场景适配选购指南吊顶/泳池/车库/防爆/调温/新风除湿机厂家推荐
  • 2025 年液氨蒸发器厂家联系方式,众众电热:多领域加热设备供应与定制化解决方案提供商
  • 【Batch】批量修改文件后缀
  • 【solace】基于docker部署solace环境
  • 2025 年阿里巴巴开通实力商家店铺开通代运营 / 阿里巴巴新手开店全托管代运营公司推荐:南鑫粤网络 —— 全域运营解决方案与实战服务优势解析
  • Vue-element-admin开发指南 - 教程
  • 2025 年国内工作服厂家最新推荐排行榜:聚焦工艺设计与服务,精选权威榜单助企业采购冬季/春季/工人/车间/防静电/餐饮/劳保工作服厂家推荐
  • ClickHouse 窗口函数使用详解(一) - 若
  • ClickHouse 窗口函数详解:告别 GROUP BY 的局限性,实现灵活数据分析 - 若