Аналіз методів та підходів до задачі обробки аудіо даних
Анотація
Актуальність дослідження визначається потребою комплексної оцінки сучасних систем автоматичного розпізнавання мовлення в умовах української мовної специфіки з урахуванням компромісу між точністю, продуктивністю, апаратними вимогами та впливом якості транскрипції на подальші інформаційно-аналітичні процеси. Мета дослідження полягала в порівнянні наявних методів і технологій розпізнавання мовлення для побудови системи оцінки інформаційного впливу. У дослідженні використовувалися традиційні моделі прихованих марковських процесів та гауссові суміші, гібридні нейронні мережі, локальні нейромережеві моделі DeepSpeech, Wav2Vec 2.0 і Whisper, хмарні сервіси розпізнавання мовлення від Google, Amazon, Microsoft та IBM. Здійснювалася обробка аудіо з використанням виявлення мовлення та мел-частотних коефіцієнтів, фіксувалися точність розпізнавання слів, час обробки на процесорі та графічному процесорі, затримка та нестабільність відповіді, а також оцінювався вплив помилок розпізнавання на конвеєр обробки природної мови з токенізацією, тематичною класифікацією та аналізом настрою. У ході дослідження встановлено істотну залежність точності та продуктивності Automatic Speech Recognition від архітектури моделей і апаратної підтримки. Класичні Hidden Markov Models продемонстрували найнижчу ефективність із Word Error Rate 18-30 % та часом обробки 51-72 с, що підтвердило їх обмежену придатність для української мови в умовах шуму й двомовного мовлення. Локальні end-to-end нейромережеві моделі забезпечили принципово кращі показники: DeepSpeech досяг 22 % Word Error Rate, Wav2Vec – близько 12 %, а Whisper Large-v3 – приблизно 7 %, що відповідає зменшенню кількості помилок у 3-4 рази. Було показано, що багатомовні трансформерні архітектури характеризуються підвищеною стійкістю до фонетичних варіацій української мови та кодсвічингу. Оптимізовані локальні моделі забезпечили обробку майже в реальному часі (Whisper Large-v3 ≈10 с на файл), суттєво перевершивши класичні підходи за швидкодією. Хмарні сервіси продемонстрували співставну точність (7-10 % Word Error Rate), однак виявили залежність від мережевих затримок і обмеження щодо конфіденційності. Узагальнено, Whisper і Wav2Vec визначено як оптимальну основу для систем аналізу аудіоконтенту та виявлення інформаційного ефекту, оскільки вони забезпечують найкращий баланс між точністю, продуктивністю та контролем над даними. Отримані результати можуть бути застосовані у розробці систем автоматичної транскрипції, моніторингу та аналізу аудіопотоків, розробці сервісів голосової аналітики та модулів раннього виявлення інформаційних впливів
Ключові слова
speech-to-text; автоматичне розпізнавання мовлення; Whisper; Wav2Vec; обробка аудіопотоків; Word Error Rate; нейронні мережі
Використані джерела
- Amazon Transcribe. (n.d.). Retrieved from https://aws.amazon.com/transcribe.
- Amiri, S.M.H. (2025). Beyond language barriers: Multilingual NLP and voice recognition for global connectivity. International Journal of Science and Research Archive, 15(2), 406-419. doi: 10.30574/ijsra.2025.15.2.1346.
- Azure Speech in Foundry Tools. (n.d.). Retrieved from https://azure.microsoft.com/en-us/products/ai-services/ai-speech.
- Baevski, A., Zhou, H., Mohamed, A., & Auli, M. (2020). Wav2vec 2.0: A framework for self-supervised learning of speech representations. In Proceedings of the 34th international conference on neural information processing systems (pp. 1244912460). Red Hook: Curran Associates Inc. doi: 10.5555/3495724.3496768.
- Bai, Y.V., & Katkov, Yu.I. (2025). Review of research on non-audio recognition using neural networks. Scientific Notes of the State University of Information and Communication Technologies, 1(7), 106-115. doi: 10.31673/2786-8362.2025.018603.
- Bhandari, A., & Harit, G. (2026). Post-ASR correction for low-resource Rajasthani language. ACM Transactions on Asian and Low-Resource Language Information Processing, 25(3), article number 15. doi: 10.1145/3793254.
- Bouchelligua, W. (2025). VoiceX: An end-to-end speech recognition model for low-resource languages using transfer learning. Arabian Journal for Science and Engineering, 51, 11893-11920. doi: 10.1007/s13369-025-10859-7.
- Chen, C. (2025). Advancing speech-to-text adaptation for large speech models. Singapore: Nanyang Technological University. doi: 10.32657/10356/201854.
- CMU Sphinx. (n.d.). Retrieved from https://github.com/cmusphinx.
- DeepSpeech. (n.d.). Retrieved from https://github.com/mozilla/DeepSpeech.
- Delić, V., Perić, Z., Sečujski, M., Jakovljević, N., Nikolić, J., Mišković, D., Simić, N., Suzić, S., & Delić, T. (2019). Speech technology progress based on new machine learning paradigm. Computational Intelligence and Neuroscience, 2019(1), article number 4368036. doi: 10.1155/2019/4368036.
- Dhahbi, S., Saleem, N., Bourouis, S., Berrima, M., & Verdú, E. (2025). End-to-end neural automatic speech recognition system for low resource languages. Egyptian Informatics Journal, 29, article number 100615. doi: 10.1016/j.eij.2025.100615.
- Dumyn, A., Basystiuk, O., Dumyn, I., & Shakhovska, N. (2025). Performance evaluation of automatic speech recognition systems for Ukrainian and English languages. In P. Štarchoň, S. Fedushko & K. Gubíniova (Eds.), Developments in information and knowledge management systems for business applications (pp. 423-443). Cham: Springer. doi: 10.1007/978-3-031-95955-4_23.
- Fatehi, K. (2023). Self-supervised learning for automatic speech recognition in low-resource environments. Nottingham: University of Nottingham.
- Fendji, J.L.K.E., Tala, D.C.M., Yenke, B.O., & Atemkeng, M. (2022). Automatic speech recognition using limited vocabulary: A survey. Applied Artificial Intelligence, 36(1), article number 2095039. doi: 10.1080/08839514.2022.2095039.
- Froiz-Miguez, I., Fraga-Lamas, P., & Fernández-CaraméS, T.M. (2023). Design, implementation, and practical evaluation of a voice recognition based IoT home automation system for low-resource languages and resource-constrained edge IoT devices: A system for Galician and mobile opportunistic scenarios. IEEE Access, 11, 63623-63649. doi: 10.1109/ACCESS.2023.3286391.
- Google Cloud. (n.d.). Cloud Speech-to-Text overview. Retrieved from https://cloud.google.com/speech-to-text/docs/speechto-text-requests.
- Hidden Markov Model Toolkit. (n.d.). Retrieved from https://github.com/mxochicale/htk.
- IBM Watson Speech to Text. (n.d.). Retrieved from https://www.ibm.com/products/speech-to-text.
- Jain, P., & Bhowmick, A. (2025). Comparative performance analysis of end-to-end ASR models on Indo-Aryan and Dravidian languages within India’s linguistic landscape. EURASIP Journal on Audio, Speech, and Music Processing, 2025(1), article number 10. doi: 10.1186/s13636-025-00395-5.
- Jin, W., Cao, Y., Su, J., Wang, D., Zhang, Y., Xue, M., Hao, J., Dong, J.S., & Yang, Y. (2025). Whispering under the eaves: Protecting user privacy against commercial and LLM-powered automatic speech recognition systems. ArXiv. doi: 10.48550/ arXiv.2504.00858.
- Kaldi. (n.d.). Retrieved from https://github.com/kaldi-asr/kaldi.
- Kumar, L.A., Renuka, D.K., Chakravarthi, B.R., & Mandl, T. (2024). Automatic speech recognition and translation for low resource languages. Hoboken: John Wiley & Sons. doi: 10.1002/9781394214624.
- Li, Q. (2024). Fine-tuning Cantonese based on Wav2vec 2.0 XLRS model that pretrained on Mandarin Chinese to improve ASR performance. Groningen: University of Groningen.
- Li, Y., Wang, Y., Hoi, L.M., Yang, D., & Im, S.-K. (2025). A review on speech recognition approaches and challenges for Portuguese: Exploring the feasibility of fine-tuning large-scale end-to-end models. EURASIP Journal on Audio, Speech, and Music Processing, 2025(1), article number 3. doi: 10.1186/s13636-024-00388-w.
- Liu, W. (2025). Enhancing efficiency and reliability in automatic speech recognition systems. Shatin: The Chinese University of Hong Kong.
- Mujtaba, D.F., & Mahapatra, N.R. (2025). Automatic speech recognition APIs: Models, features, and challenges. In H.R. Arabnia, L. Degligiannidis, F. Shenavarmasouleh, S. Amirian & F.G. Mohammadi (Eds.), 11th international conference: Computational science and computational intelligence (pp. 33-48). Cham: Springer. doi: 10.1007/978-3-031-94940-1_3.
- Nithya, S., Sengar, A.S., Jayalakshmi, K., Kokulavani, K., Joel, P.J., & Srinivasulu, M. (2025). Multilingual and robust speech recognition: Leveraging advanced machine learning for accurate and realtime natural language processing. In Proceedings of the 1st international conference on research and development in information, communication, and computing technologies (pp. 513-518). Nagapattinam: SciTePress. doi: 10.5220/0013885700004919.
- OpenAI. (2022). Whisper. Retrieved from https://openai.com/uk-UA/index/whisper.
- Polat, H., Turan, A.K., Koçak, C., & Ulaş, H.B. (2024). Implementation of a whisper architecture-based Turkish automatic speech recognition (ASR) system and evaluation of the effect of fine-tuning with a low-rank adaptation (LoRA) adapter on its performance. Electronics, 13(21), article number 4227. doi: 10.3390/electronics13214227.
- Rakhimova, D., Duisenbekkyzy, Z., & Adali, E. (2025). Investigation of ASR models for low-resource Kazakh child speech: Corpus development, model adaptation, and evaluation. Applied Sciences, 15(16), article number 8989. doi: 10.3390/ app15168989.
- Saranya, S., Bharathi, B., Dhanya, S.G., & Krishnakumar, A. (2025). Real-time continuous Tamil dialect speech recognition and summarization. Circuits, Systems, and Signal Processing, 44(4), 2855-2881. doi: 10.1007/s00034-024-02950-5.
- Senyk, A. (2025). Implementing text-to-speech synthesis with voice cloning for the Ukrainian language. Lviv: Ukrainian Catholic University.
- Shaikh, S., Pereira, K.W., Sahay, S., Lopes, A., & Parshionikar, S. (2024). An extensive review: Models for regional language speech recognition. In 2024 4th Asian conference on innovation in technology (pp. 1-8). Pimari Chinchwad: IEEE. doi: 10.1109/ ASIANCON62057.2024.10837903.
- Shekoufandeh, G. (2023) Evaluation of wav2vec 2.0 speech recognition for the elderly Frisian population. Groningen: University of Groningen.
- Si, M., Cobas, O., & Fababeir, M. (2024). Lexical error guard: Leveraging large language models for enhanced ASR error correction. Machine Learning and Knowledge Extraction, 6(4), 2435-2446. doi: 10.3390/make6040120.
- Trenton, M. (2025). A comprehensive survey on multilingual and multimodal automatic speech recognition systems. Journal of Computer Technology and Software, 4(10).
- Yang, B., Hu, Q., Xie, W., Wang, X., Luo, W., & Zhang, Q. (2024). PDAssess: A privacy-preserving free-speech based Parkinson’s disease daily assessment system. In Proceedings of the 21st ACM conference on embedded networked sensor systems (pp. 251264). New York: Association for Computing Machinery. doi: 10.1145/3625687.3625805.
- Yang, Y., et al. (2025). GigaSpeech 2: An evolving, large-scale and multi-domain ASR corpus for low-resource languages with automated crawling, transcription and refinement. In Proceedings of the 63rd annual meeting of the association for computational linguistics (Vol. 1; pp. 2673-2686). Vienna: Association for Computational Linguistics. doi: 10.18653/v1/2025. acl-long.135.
- Zahid, S.M., & Qazi, S.A. (2025). Pitch-speed feature space data augmentation for automatic speech recognition improvement in low-resource scenario. IEEE Access, 13, 86998-87014. doi: 10.1109/ACCESS.2025.3569579.
- Zimenkov, D.A., & Tereikovskyi, I.A. (2025). Analysis of problems in speech recognition methods. Scientific Notes of the V.I. Vernadsky TNU. Series: Technical Sciences, 36(75(3)), 198-205. doi: 10.32782/2663-5941/2025.3.2/27.