Порівняльний аналіз згорткових нейронних мереж та білінійної інтерполяції для мобільних застосунків
Анотація
Актуальність дослідження зумовлена зростаючою потребою в ефективних алгоритмах обробки зображень для мобільних пристроїв з обмеженими обчислювальними ресурсами. Мета роботи полягала у проведенні комплексного порівняння ефективності згорткових нейронних мереж та білінійної інтерполяції для передбачення параметрів геометричних трансформацій у мобільних застосунках. Дослідження проводилось на мобільному пристрої Motorola G32 з використанням dual-input архітектури згорткових нейронних мереж. Виконано 120 експериментів з зображеннями розміром 224×224 пікселів, які включали кути повороту від -45° до +45° та коефіцієнти масштабування від 0,5 до 1,5. Модель CNN оптимізована через TensorFlow Lite з 8-бітною квантизацією. Для оцінки якості зображень застосовано метрики PSNR та SSIM. Статистичний аналіз включав: критерій Шапіро-Вілка для перевірки нормальності, t-тест Стьюдента та U-критерій Манна-Уїтні для порівняння груп, коефіцієнт Коена для оцінки розміру ефекту, дисперсійний аналіз ANOVA, кореляційний аналіз Пірсона та Спірмена, регресійний аналіз. Здійснено моніторинг теплового режиму та споживання енергії пристрою при рівні значущості p < 0,05. Згорткові нейронні мережі демонстрували статистично значущо кращі показники якості зображення: медіанне значення PSNR становило 45,56 дБ порівняно з 42,42 дБ для білінійної інтерполяції, SSIM відповідно 0,953 та 0,910. Водночас білінійна інтерполяція забезпечувала ідеальну точність передбачення геометричних параметрів (медіанна похибка кута 0,0°) на відміну від згорткових нейронних мереж (медіанна похибка 47,95°). Час обробки для згорткових нейронних мереж становив 447,0 мс проти 358,9 мс для білінійної інтерполяції Споживання батареї: 18,3 ± 4,2 мАг (CNN) проти 16,7 ± 3,9 мАг (білінійна), p > 0,05. Температура процесора зростала на 3,2°C (CNN) проти 1,9°C (білінійна). Практична значимість. Розроблені методи можуть бути використані у мобільних застосунках доповненої реальності для оптимального вибору алгоритмів залежно від вимог застосунку
Ключові слова
глибоке навчання; обробка зображень; мобільні обчислення; параметри трансформації; метрики продуктивності; нейронна архітектура
Використані джерела
- Archana, R., & Jeevaraj, P.S.E. (2024). Deep learning models for digital image processing: A review. Artificial Intelligence Review, 57(1), article number 11. doi: 10.1007/s10462-023-10631-z.
- Choudhary, T., Mishra, V., Goswami, A., & Sarangapani, J. (2020). A comprehensive survey on model compression and acceleration. Artificial Intelligence Review, 53(7), 5113-5155. doi: 10.1007/s10462-020-09816-7.
- Gou, J., Yu, B., Maybank, S.J., & Tao, D. (2021). Knowledge distillation: A survey. International Journal of Computer Vision, 129(6), 1789-1819. doi: 10.1007/s11263-021-01453-z.
- Han, S., Pool, J., Tran, J., & Dally, W.J. (2015). Learning both weights and connections for efficient neural network. In Advances in neural information processing systems 28 (NeurIPS 2015) (pp. 1135-1143). Montreal: Neural Information Processing Systems Foundation.
- He, Y., & Xiao, L. (2024). Structured pruning for deep convolutional neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(5), 2900-2919. doi: 10.1109/TPAMI.2023.3334614.
- Howard, A., et al. (2019). Searching for MobileNetV3. In Proceedings of the IEEE/CVF international conference on computer vision (ICCV) (pp. 1314-1324). Seoul: IEEE.
- Ignatov, A., et al. (2023). Efficient and accurate quantized image super-resolution on mobile NPUs, mobile AI & AIM 2022 challenge: Report. In L. Karlinsky, T. Michaeli & K. Nishino (Eds.), Computer vision – ECCV 2022 workshops (pp. 92-129). Cham: Springer. doi: 10.1007/978-3-031-25066-8_5.
- Jaderberg, M., Simonyan, K., Zisserman, A., & Kavukcuoglu, K. (2015). Spatial transformer networks. In Advances in neural information processing systems 28 (NeurIPS 2015) (pp. 2017-2025). Montreal: Neural Information Processing Systems Foundation.
- Li, Z., Li, H., & Meng, L. (2023). Model compression for deep neural networks: A survey. Computers, 12(3), article number 60. doi: 10.3390/computers12030060.
- Liu, H., Galindo, M., Xie, H., Wong, L.K., Shuai, H.H., Li, Y.H., & Cheng, W.H. (2024). Lightweight deep learning for resource-constrained environments: A survey. ACM Computing Surveys, 56(10), article number 267. doi: 10.1145/3657282.
- Mehta, S., & Rastegari, M. (2022). MobileViT: Light-weight, general-purpose, and mobile-friendly vision transformer. In International conference on learning representations (ICLR 2022) (pp. 1-26). Vancouver: ICLR.
- Menghani, G. (2023). Efficient deep learning: A survey on making deep learning models smaller, faster, and better. ACM Computing Surveys, 55(12). doi: 10.1145/3578938.
- Reddi, V.J., et al. (2022). MLPerf mobile inference benchmark: An industry-standard open-source machine learning benchmark for on-device AI. In Proceedings of the Machine Learning and Systems Conference (MLSys 2022) (pp. 352-364). Baltimore: PMLR.
- Rokh, B., Azarpeyvand, A., & Khanteymoori, A. (2023). A comprehensive survey on model quantization for deep neural networks in image classification. ACM Transactions on Intelligent Systems and Technology, 14(6), article number 97. doi: 10.1145/3623402.
- Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., & Chen, L.-C. (2018). MobileNetV2: Inverted residuals and linear bottlenecks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR) (pp. 4510-4520). Salt Lake City: IEEE. doi: 10.1109/CVPR.2018.00474.
- Tan, M., & Le, Q.V. (2021). EfficientNetV2: Smaller models and faster training. In Proceedings of the 38th international conference on machine learning (pp. 10096-10106). Baltimore: PMLR.
- Wang, Z., Bovik, A.C., Sheikh, H.R., & Simoncelli, E.P. (2004). Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4), 600-612. doi: 10.1109/TIP.2003.819861.
- Wei, L., Ma, Z., Yang, C., & Yao, Q. (2024). Advances in the neural network quantization: A comprehensive review. Applied Sciences, 14(17), 744. doi: 10.3390/app14177445.
- Xiao, Z., Zhang, Z., Hung, K.-W., & Lui, S. (2021). Real-time video super-resolution using lightweight depthwise separable group convolutions with channel shuffling. Journal of Visual Communication and Image Representation, 75, article number 103038. doi: 10.1016/j.jvcir.2021.103038.
- Yang, J., Lyu, M., Qi, Z., & Shi, Y. (2023). Deep learning based image quality assessment: A survey. Procedia Computer Science, 221, 1000-1007. doi: 10.1016/j.procs.2023.08.080.