Skip to content
This repository has been archived by the owner on Apr 4, 2024. It is now read-only.

Commit

Permalink
Update DeepMIH.md
Browse files Browse the repository at this point in the history
  • Loading branch information
TomTomTommi authored Jan 13, 2022
1 parent 282b0c0 commit babe3c4
Showing 1 changed file with 17 additions and 9 deletions.
26 changes: 17 additions & 9 deletions blog/DeepMIH.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,7 +12,9 @@

我们看图说话:

![概念图](./Fig1.png)
<center>
<img src=./Fig1.png width=70% />
</center>

1. 如图 (a) 所示,现有的单图像隐藏算法将一张秘密图像(Secret image,图中的军人)通过一个隐藏网络嵌入到载体图像中,最终生成隐秘图像(Stego image,图中的花)。为了使不知情的人发现秘密图像的存在,图像隐藏任务要求隐秘图像和载体图像在视觉效果上是一致的(在训练时,我们通常使用L1/L2 Loss来实现)。除了图中画出的部分,在实际使用时,还需要一个恢复网络将隐秘图像中的秘密图像恢复出来,自然恢复图像的质量也不能太差,我们也需要一个损失函数项来约束。通过这两个损失函数,我们就能训练一个具有“隐藏过程”和“恢复过程”的图像隐藏算法了。

Expand All @@ -25,15 +27,17 @@
### 2.1 频带特性分析

<center>
<img src=./Fig2.png width=50% />
<img src=./Fig2.png width=35% />
</center>

我们用现有算法做了一个简单的实验:将载体图片用小波变换分解为LL, LH, HL, HH四个频带,将四分之一原图大小的秘密图片分别藏进其中一个频带,然后再用小波逆变换得到“只有一个频带含有秘密信息”的隐秘图片。
通过对PSNR和SSIM的测算,我们得到了如上的柱状图。分析可知,将信息藏在高频部分对隐秘图片的质量影响是最小的,PSNR和SSIM相对最高。这说明HH频带最适合进行图片隐藏,这个结论和我们在以往文章中得到的描述是一致的。针对这一点,我们设计了一个简单的频域Loss来辅助训练过程,提高了网络的性能。

### 2.2 隐藏容量分析

![隐藏容量](./Fig3.png)
<center>
<img src=./Fig3.png width=70% />
</center>

在对现有单图像算法进行分析的过程中我们发现,当把已经藏有一张秘密图片的隐秘图片当作载体图片再进行隐藏时,会出现很明显的“视觉伪影”和“颜色失真”。
从图中可以看出,当隐藏第一张秘密图像时,秘密图像的香蕉区域相对于载体图像的天空区域有很明亮的颜色和复杂的轮廓,将这个图案隐藏进去已经很困难了。在接下来隐藏第二张秘密图像时,如果还出现复杂的纹理区域,网络就难以再实现较好的隐藏了。
Expand All @@ -46,7 +50,7 @@
我们的DeepMIH方法由一个框图说明:

<center>
<img src=./Fig4.png width=50% />
<img src=./Fig4.png width=35% />
</center>

DeepMIH由两个子结构组成,分别是基于可逆网络、用于隐藏和恢复的网络结构IHNN和基于注意力机制、获取前级先验信息用于指导下级隐藏的重要性图模块IM。
Expand All @@ -57,22 +61,24 @@ DeepMIH由两个子结构组成,分别是基于可逆网络、用于隐藏和

### 3.2 IHNN结构

![IHNN结构](./Fig5.png)
<center>
<img src=./Fig5.png width=70% />
</center>

如上图所示,IHNN的结构可以分为最前端和最后端的DWT/IWT部分和中间的可逆隐藏模块。经过对频域隐藏特性的分析我们知道,将秘密信息隐藏在载体图像的高频部分能够实现更好的效果。这也是我们使用小波变换模块的动机,通过设计损失函数能够让秘密信息更趋向于隐藏在高频部分。此外,我们在溶解实验中也发现在频域上进行图像隐藏能减少参数量,提高整体性能(具体可见原文)。这也说明经过小波变换后的两个输入能够更加有效地进行秘密信息的融合。可逆隐藏模块采用了INN的仿射变换结构(具体公式可见原文),用一套参数对正向和反向过程进行了建模,实现了更好的效果。

### 3.3 IM结构

<center>
<img src=./Fig6.png width=50% />
<img src=./Fig6.png width=35% />
</center>

为了能够在网络多级之间引入先验信息,我们设计了一个简单的IM网络。输入载体图像、秘密图像和隐秘图像后,这三个图像先经过不进行共享参数的相同模块网络后再堆叠经过一个稠密网络。每一级输出后都接入注意力机制模块。

### 3.4 多图像隐藏

<center>
<img src=./Fig7.png width=50% />
<img src=./Fig7.png width=35% />
</center>

阐述完两张图像隐藏的模型后,我们能够很容易将其扩展到多图像隐藏。这里我们给出了统一的范式流程,见上图。对于S张图片,我们使用S个IHNN模块和S-1个IM模块实现总体的网络搭建。
Expand All @@ -83,14 +89,16 @@ DeepMIH由两个子结构组成,分别是基于可逆网络、用于隐藏和

我们选用了Y-PSNR,SSIM,MAE,RMSE作为评价指标,结果如表格所示:

![实验](./Fig8.png)
<center>
<img src=./Fig8.png width=70% />
</center>

在通用数据集DIV2K,COCO和ImageNet上,DeepMIH全面胜出,展现出较好的泛化能力。

我们还拓展实现了三张图像和四张图像的隐藏模型。我们看看结果:

<center>
<img src=./Fig9.png width=50% />
<img src=./Fig9.png width=35% />
</center>

从平均值可以看出,随着隐藏图像数量的增加,总体的隐藏效率是下降的,这是符合我们认知的。
Expand Down

0 comments on commit babe3c4

Please sign in to comment.