张芷铭的个人博客

一、验证LoG算子效果

这两张图都是基于70000us曝光的同一个针孔图像处理得到。 左图:先使用Laplace算子锐化,再使用Gaussian滤波平滑。光斑的整体灰度值较高,而且图像平滑。 右图:先使用Gaussian滤波平滑,再使用Laplace算子锐化(这种操作称为LoG)。虽然灰度值偏低,但是可以发现保留了更多的边缘细节。

这是对70000us曝光的整幅图像处理的结果。 左图:原图未经处理,直接进行阈值分割、形态学操作提取区域 右图:原图经过LoG算子处理后(代码如下),再进行阈值分割、形态学操作提取区域

1
2
image_smoothed = cv2.GaussianBlur(cropped_image, (7, 7), 0)
Gaussian_laplacian = image_smoothed - cv2.Laplacian(image_smoothed, cv2.CV_64F, laplacian_operator)

可以发现,左图中红框标记是检测到的噪点,右图没有出现这种情况。 并且,观察左图黄框中的这些孔,它们处在视场边缘,成像不接近圆形(这种现象是叫炫光吗?),使用LoG处理后可以较好抑制这种成像缺陷。

针对只有1个像素大小的区域使用LoG处理观察效果: 左图:构建一个255*255大小的8bit灰度图,并在中心设置一个灰度值为255的像素 右图:对左图LoG处理结果。范围扩大且灰度值降低,难以评价会如何影响检测效果。

二、构建数据集,注意完善每张图的标签

对在不同条件下拍摄的图片,裁剪出其中的针孔区域。

其他属性

示例:ImagingDistance_225-ExposureTime_7000-PowerdividedbyArea_757.5-Fnumber_1.4-Focal_8-CMOSPixelSize_2.4-CMOSQE_0.5

  1. 成像距离: Imaging Distance 225mm
  2. 光源强度: Light Source Intensity 7000us
  3. 功率/发光面积:Power divided by Area 30.3W/0.04m^2 = 757.5 W/m^2
  4. 光圈大小: F-number 1.4
  5. 镜头焦距: Lens Focal Length 8mm
  6. CMOS像元尺寸: CMOS Pixel Size 2.4um
  7. CMOS量子效率: CMOS Quantum Efficiency 0.5

量子效率一般是自变量为波长的一条曲线,取0.5是大概的平均值。这个指标选择的是否合理有待验证。

数据集正在构建中,还有些小问题,目前裁剪出来的图片和annotation.txt:

三、使用CNN模型尝试回归预测

模型的backbone考虑借鉴VGG16;关于每张图片的其他属性如何输入模型中,考虑引入Transformer。

四、 成像的视野边缘像差

框中的三个孔是同样的三个100um孔,仅仅是在视野中的位置有变化,可以看到这几个孔的成像存在明显的像差。 另外,线阵和面阵相机的成像像差可能存在不同的特点。考虑到这一点,构建数据集或许最好用线阵拍摄。

Comments