据悉,“蓝眼泪”是海洋甲藻等多种海洋浮游生物发光产生的自然现象。海洋浮游生物作为一类悬浮在水层常随水流移动的生物,是海洋生态系统的基本组成部分,对浮游生物的观测不仅是海洋生态科学研究的基础,也是现代海洋生态环境管理不可或缺的手段。
着色对比图。
近期,来自中科院深圳先进院集成所的李剑平团队,设计了一种深度学习图像着色算法,可将水下原位拍摄的海洋浮游生物灰度图像自动着色为天然色彩,效果接近人眼观察。该成果于10月23日在国际机器视觉三大顶级学术会议之一的欧洲机器视觉大会上发表。
近年来,随着技术的发展,越来越多的浮游生物成像仪实现了彩色成像,也有许多实验证明彩色图像能够比灰度图像带来更为丰富的信息,对浮游生物观测起到重要作用。
然而,水下彩色成像需要使用白光照明,会导致浮游动物因趋光性大量聚集在水下成像仪器前而改变它们在水下的原有空间分布。这种非自然的改变,会使导致浮游生物的观测结果产生严重偏差,观测定量无法准确。
“由于绝大多数浮游动物对波长较长的红光不敏感,传统的水下成像仪多数使用红光或近红外光照明成像,以避免浮游动物的趋光性聚集。但这样的拍摄条件只能获得浮游生物的灰度图像。如果能够训练人工智能,将红光照明下获取的灰度图像转换为高保真的彩色图像,是一种巧妙的解决之道。”李剑平表示。
针对这一设想,李剑平团队设计并训练了一种基于深度卷积神经网络的浮游生物自动着色算法,命名为IsPlanktonCLR网络。该网络采用了一种具有自指导功能的双通路网络结构,配合定制化的调色板和逐步聚焦的损失函数,实现了对浮游生物灰度图像的自动化着色,且对稀有物种和普通物种的关键部位的色彩还原具有优异的准确性。
为实现该算法的训练开发,李剑平团队通过长期不懈积累,结合自主研发的海洋原位成像仪,构建了一个包含上千对浮游生物彩色-灰度原位图像对数据集。
“我们的实验结果证实,无论是在人眼视觉感受效果上,还是在机器视觉的经典量化指标上,该算法所取得的效果均为最佳。”李剑平说道。
为使比测实验更加客观,团队进行了一项较大规模的人眼感受评价民众调查。利用网上调查问卷,团队收集了包含海洋学家、浮游生物专家和研究生在内的115名专业志愿者,对多种不同模型着色结果与真实图像色彩相似性进行评分。统计评分结果进一步证实了该算法的着色效果,比现有其他算法更加接近人眼视觉感受。