Реставрація зображень методом super-resolution з використанням згорткових нейронних мереж
DOI:
https://doi.org/10.20535/RADAP.2023.91.79-86Ключові слова:
супер роздільна здатність, згорткові нейроні мережі, втрата MSE, втрата VGG, кодер, декодер, десубпіксель, співвідношення сигналу до шуму, коефіцієнт зменшення вибіркиАнотація
Головна мета методу супер роздільної здатності (super-resolution) полягає у створенні зображення більш високої роздільної здатності з зображень нижчої роздільної здатності. Зображення високої роздільної здатності забезпечують високу щільність пікселів, отже, більше деталей на вихідному зображені. Необхідність високої роздільної здатності широко поширена у методах комп'ютерного зору, в програмах для розпізнавання образів або звичайного аналізу зображень. Проте зображення високої роздільної здатності не завжди є доступними. Це пов'язано з тим, що процеси перетворення та методи для обробки вимагають надпотужних процесів, тому і обладнання для отримання зображень високої роздільної здатності виявляється дорогим. Ці проблеми можуть бути подолані за допомогою алгоритмів обробки зображень, які є відносно недорогими, що призвело до появи концепції надрозв'язання. Це дає перевагу, тому що може коштувати дешевше, а існуючі системи візуалізації з низькою роздільною здатністю є достатньо доступними. Висока роздільна здатність має велике значення у медичній візуалізації для діагностики. Багато програм вимагають масштабування конкретної області зображення, при цьому висока роздільна здатність стає необхідною, наприклад, для спостереження, криміналістики та супутникової візуалізації. Наведений в роботі метод з використанням згорткової нейронної мережі для відтворення зображень супер роздільної здатності напряму виконує перетворення з низького зображення на зображення подібне до оригіналу. Щоб прискорити час виходу, запропонований метод виконує більшість обчислювальних операцій у просторі з низьким дозволом та при цьому зменшення дискретизації не призводить до втрати інформації. Головна задача роботи нейронної мережі полягає в реконструкції спотвореного зображення та пошуку ідеальної функції відтворення, по якій, власне, нейронна мережа простої структури створює якісні зображення з кращими показниками, таким як роздільна здатність, співвідношення сигнал/шум, менші часові витрати на відновлення зображення. Під час експеременту було визначено алгоритм, по якому запропонована нейронна мережа може реконструювати будь-яке зображення, з різними видами спотворень. Метод super-resolution був реалізований з використанням мови програмування python 3.6 та програмних модулів для згорткових нейронних мереж tensorflow та tensorlayer. Графічні данні співвідношення сигнал/шум, структурної подібності та графіки втрат були отриманні за допомогою модулю tensorboardX.
Посилання
References
Yang J. and Huang T. (2017). Image Super-Resolution: Historical Overview and Future Challenges. in Super-Resolution Imaging, CRC Press, pp. 1–34. doi: 10.1201/9781439819319-1.
Kim P. (2017). Convolutional Neural Network. in MATLAB Deep Learning, Berkeley, CA: Apress, pp. 121–147. doi: 10.1007/978-1-4842-2845-6.
Li Z., Liu F., Yang W., Peng S., and Zhou J. (2022). A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects. IEEE Trans Neural Netw Learn Syst, Vol. 33, No. 12, pp. 6999–7019. doi: 10.1109/TNNLS.2021.3084827.
Albawi S., Mohammed T. A., and Al-Zawi S. (2017). Understanding of a convolutional neural network. 2017 International Conference on Engineering and Technology (ICET), pp. 1–6. doi: 10.1109/ICEngTechnol.2017.8308186.
Zhao N., Wei Q., Basarab A., Dobigeon N., Kouame D., and Tourneret J.-Y. (2016). Fast Single Image Super-Resolution Using a New Analytical Solution l2-l2 Problems. IEEE Transactions on Image Processing, Vol. 25, No. 8, pp. 3683–3697. doi: 10.1109/TIP.2016.2567075.
Ignatov A. et al. (2018). PIRM Challenge on Perceptual Image Enhancement on Smartphones: Report. Cornell University. doi: 10.48550/arXiv.1810.01641.
Fattal R. (2007). Image upsampling via imposed edge statistics. ACM SIGGRAPH 2007 papers, p. 95. doi: 10.1145/1275808.1276496.
Zhang Y., Zhao D., Zhang J., Xiong R. and Gao W. (2011). Interpolation-Dependent Image Downsampling. IEEE Transactions on Image Processing, Vol. 20, No. 11, pp. 3291–3296. doi: 10.1109/TIP.2011.2158226.
Bayar B. and Stamm M. C. (2016). A Deep Learning Approach to Universal Image Manipulation Detection Using a New Convolutional Layer. Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security, pp. 5–10. doi: 10.1145/2909827.2930786.
Ide H. and Kurita T. (2017). Improvement of learning for CNN with ReLU activation by sparse regularization. 2017 International Joint Conference on Neural Networks (IJCNN), pp. 2684–2691. doi: 10.1109/IJCNN.2017.7966185.
Ngernplubpla J. and Chitsobhuk O. (2019). Neuro-fuzzy profile clustering in image enhancement. 2019 7th International Electrical Engineering Congress (iEECON), pp. 1–4. doi: 10.1109/iEECON45304.2019.8938965.
Govil, R. (2000). Neural Networks in Signal Processing. In: Ruan, D. (eds) Fuzzy Systems and Soft Computing in Nuclear Engineering. Studies in Fuzziness and Soft Computing, Vol 38. doi: 10.1007/978-3-7908-1866-6_11.
Shi W. et al. (2016). Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1874–1883. doi: 10.1109/CVPR.2016.207.
Ignatov A., Kobyshev N., Timofte R., and Vanhoey K. (2017). DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks. 2017 IEEE International Conference on Computer Vision (ICCV), pp. 3297–3305. doi: 10.1109/ICCV.2017.355.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2023 Олександр Недзельський, Наталія Лащевська
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
