論文誌 · 2022
A method for improving semantic segmentation using thermographic images in infants
Abstract
BACKGROUND: Regulation of temperature is clinically important in the care of neonates because it has a significant impact on prognosis. Although probes that make contact with the skin are widely used to monitor temperature and provide spot central and peripheral temperature information, they do not provide details of the temperature distribution around the body. Although it is possible to obtain detailed temperature distributions using multiple probes, this is not clinically practical. Thermographic techniques have been reported for measurement of temperature distribution in infants. However, as these methods require manual selection of the regions of interest (ROIs), they are not suitable for introduction into clinical settings in hospitals. Here, we describe a method for segmentation of thermal images that enables continuous quantitative contactless monitoring of the temperature distribution over the whole body of neonates. METHODS: The semantic segmentation method, U-Net, was applied to thermal images of infants. The optimal combination of Weight Normalization, Group Normalization, and Flexible Rectified Linear Unit (FReLU) was evaluated. U-Net Generative Adversarial Network (U-Net GAN) was applied to thermal images, and a Self-Attention (SA) module was finally applied to U-Net GAN (U-Net GAN + SA) to improve precision. The semantic segmentation performance of these methods was evaluated. RESULTS: The optimal semantic segmentation performance was obtained with application of FReLU and Group Normalization to U-Net, showing accuracy of 92.9% and Mean Intersection over Union (mIoU) of 64.5%. U-Net GAN improved the performance, yielding accuracy of 93.3% and mIoU of 66.9%, and U-Net GAN + SA showed further improvement with accuracy of 93.5% and mIoU of 70.4%. CONCLUSIONS: FReLU and Group Normalization are appropriate semantic segmentation methods for application to neonatal thermal images. U-Net GAN and U-Net GAN + SA significantly improved the mIoU of segmentation.
解説
新生児の体温管理は予後に直結するため NICU では常に注意が払われていますが、現場で使われている接触式のプローブでは貼り付けた一点の温度しか分からず、全身のどこがどれだけ冷えているのかまでは把握できません。プローブを何本も貼れば分布は取れるものの、新生児の皮膚への負担を考えると現実的な運用にはなりません。
サーモグラフィであれば非接触で全身の温度分布が撮れるので以前から試みはあったのですが、撮った画像のどこが頭でどこが手足なのかを人手で指定しなければならず、連続してモニタリングする用途には向いていませんでした。
そこで本研究では、この部位の切り分けを自動化しています。医用画像でよく使われる U-Net を土台に、正規化手法と活性化関数の組み合わせを検討したうえで、敵対的生成ネットワーク（U-Net GAN）と自己注意機構（Self-Attention）を組み合わせ、細かい輪郭の精度を上げました。
ここで使っているセマンティックセグメンテーションというのは、画像を1ピクセルずつ「頭」「腕」「背景」といったクラスに分類していく技術で、物体を四角い枠で囲む物体検出と違って輪郭に沿った領域がそのまま得られるため、その領域の平均温度のような量を直接計算できるという利点があります。
評価では、FReLU と Group Normalization を組み合わせた U-Net で精度 92.9%、mIoU 64.5% となり、U-Net GAN でさらに mIoU 66.9%、Self-Attention を加えると 70.4% まで改善しました。これによって、保育器の中の新生児の体温分布を、人手を介さずに連続して定量化できるようになりました。
