当前位置: 首页 > news >正文

Implicit Neural Representations with Periodic Activation Functions

Implicit Neural Representations with Periodic Activation Functions

SIREN:讨论sin激活函数在INR中的应用
代码仓库
注:本文涉及了一些笔者不了解的领域,仅摘取笔者自身比较熟悉的部分记录个人理解。

动机

利用sin激活函数帮助INR建模周期性且在导数上有一致性要求的信号。

方法

假设一种隐式神经表示的场景:将输入位置坐标\(x\)映射为某种感兴趣的信号,且监督导数:

\[C(\mathbf{x},\Phi,\nabla_{\mathbf{x}}\Phi,\nabla_{\mathbf{x}}^2\Phi,\cdots)=0, \Phi:\mathbf{x}\mapsto\Phi(\mathbf{x}) \]

本文方法SIREN使用MLP实现\(\Phi(\cdot)\),其中的每一层\(\phi_i(\cdot)\)都使用sin激活函数:

\[\Phi(\mathbf{x})=\mathbf{W}_n(\phi_{n-1}\circ\phi_{n-2}\circ\cdots\circ\phi_{0})(\mathbf{x})+\mathbf{b}_n, \ \phi_i(\mathbf{x}_i)=\sin(\mathbf{W}_i \mathbf{x}_i + \mathbf{b}_i) \]

由于三角函数的导数性质,\(sin\)\(cos\)的导数仍然是三角函数,因此SIREN的导数仍然继承了其自身的性质。因此,SIREN的任意阶导数也是若干SIREN的组合。

img

假设有一个简单的函数\(y=sin(ax+b)\),输入变量\(x\sim\mathcal{U}(-1,1)\),则对任意\(a>\frac{\pi}{2}\),有\(y\sim\arcsin(-1,1)\)。经过多层堆叠后接近正态分布,因此可根据这一性质设计权重初始化。

实验

图像重建

img

定义\(\mathbf{x}\)为图像上的坐标,目标为拟合对应位置上的RGB值\(f(\mathbf{x})\),监督RGB拟合的误差。实验中使用多种激活函数配置,并配以相当的网络。除了展示RGB结果外,还比较了梯度\(\nabla\Phi\)和拉普拉斯\(\Delta\Phi\)。可以看到SIREN拟合的结果和原图都相当一致。

img

该性质可以应用在泊松重构上:在一阶导上做图像融合得到的图像更平滑。

拟合周期性信号

img

由于三角函数天然具有周期性,所以适合用于拟合周期性信号,例如解决Helmholtz equation。

总结

本文主要讨论了sin作为激活函数在INR中的应用。其主要特点来源于三角函数的导数性质和周期性,也就因此能用于对导数和周期性有要求的任务。实现方法简单,效果明显。

http://www.hskmm.com/?act=detail&tid=21439

相关文章:

  • 故障处理:Oracle一体机更换磁盘控制器后部分磁盘状态异常的案例处理
  • 34
  • ObservableCollection子项属性字段值变化的监听处理
  • 阿里云 CDN 多条件源站配置实战:跨地域环境分流
  • 2025年破碎机厂家最新权威推荐榜:破碎机实力厂商技术服务全景评测及选购指南
  • 什么关系?就是ajax与jQuery
  • 2025标志牌生产厂家最新推荐排行榜:权威筛选优质标志牌品牌,助您精准选对交通标志牌,反光标志牌,道路标志牌供应商!
  • 2025 年脚手架厂家最新推荐榜:铝合金 / 盘扣 / 快装 / 移动式等多类型产品优选及国内实力企业排行指南
  • 2025年沈阳标识标牌厂家最新推荐榜单:涵盖订做标识标牌,广告标识标牌,安全出口标识标牌、不锈钢等多类型标识,全面解读企业产能与技术实力
  • 实用指南:部署 Jenkins 服务器
  • This is my First Blog -BIGBASIS
  • 【光照】[PBR][法线分布]为何不选Beckmann
  • 180课时吃透Go语言游戏后端开发2:Go语言中的变量 - 实践
  • 2025“钉耙编程”中国大学生算法设计暑期联赛(4)
  • qdg
  • 别再迷信甘特图了!90%的项目用它都错了
  • ZyperWin++使用教程!让Windows更丝滑!c盘飘红一键搞定!ZyperWin++解决系统优化、Office安装和系统激活
  • 一文详解决策树:ID3与C4.5算法 - 详解
  • 关于处理大批量数据下载和查询时,怎么进行限流和熔断处理(AI)
  • docker服务器运维
  • Nginx 反向代理与负载均衡核心内容总结 - 实践
  • 这款免费Windows优化神器!只有5M电脑绿色工具!ZyperWin++下载安装教程
  • 原核蛋白表达与真核蛋白表达的差异选择
  • 泛型类型参数
  • 完整教程:【数据结构——十字链表】
  • CF1584E Game with Stones 题解
  • 高德解包和打包报错
  • Python 中的上下文管理器与 `with` 语句全解析
  • 用友U8Api 接口对接
  • 填坑:VC++ 采用OpenSSL 3.0接口方式生成RSA密钥 - 教程