Моделі динамічних об’єктів зі значною нелінійністю на основі нейронних мереж із часовими затримками
Анотація
Робота присвячена проблемі нелінійного моделювання об’єктів на основі динамічних нейронних мереж. Метою роботи є підвищення точності моделювання динамічних об’єктів зі значними нелінійностями за допомогою нейромережевих моделей та визначення області ефективного застосування цих моделей. Ця мета досягається шляхом застосування нелінійних динамічних моделей у вигляді нейронних мереж із часовою затримкою. Для дослідження області ефективного застосування запропонованих нейромережевих моделей розглядаються тестові об’єкти з нелінійностями двох типів: гладкою та кусково-лінійною (насиченням). Для дослідження точності нейронних мереж із часовою затримкою при моделюванні нелінійних динамічних об’єктів проведено два експерименти: дослідження масштабованості моделей до різних вхідних сигналів; дослідження екстраполяційних властивостей моделей. Результати обох експериментів порівнюються з результатами моделювання за допомогою компенсаційного методу детермінованої ідентифікації у вигляді функціональних рядів на основі багатовимірних вагових функцій. Отримані результати моделювання свідчать, що запропоновані нейромережеві моделі не є інваріантними щодо вхідного сигналу. Однак ці моделі можуть адекватно відображати властивості нелінійних динамічних об’єктів в разі навчання на достатньому обсязі даних, що формується на основі вхідних сигналів того ж типу, що й у тестовому наборі даних. Екстраполяційні властивості нейронних мереж із часовою затримкою погіршуються зі збільшенням амплітуд вхідних сигналів, що виходять за межі діапазону амплітуд вхідних сигналів навчальної вибірки. Наукова новизна роботи полягає у визначенні залежності між типами сигналів та їх амплітудами, що діють на вході моделі, і точністю запропонованих моделей. Практична користь роботи полягає у визначенні області ефективного застосування нейронних мереж із часовою затримкою під час розв’язування прикладних задач ідентифікації об’єктів зі значно нелінійними характеристиками; підвищенні точності ідентифікації нелінійних об’єктів порівняно з моделями у вигляді функціональних рядів на основі багатовимірних вагових функцій
Ключові слова
ідентифікація; нелінійні об’єкти; суттєві нелінійності; динамічні нейронні мережі; імітаційне моделювання
Використані джерела
[1] Agresti, A. (2017). Foundations of linear and generalized linear models. Wiley series in probability and statistics.
[2] Antipina, E., Markova, E., & Solodusha, S. (2023). On one approach to computer modeling of the dynamics of heat and power systems by the Volterra series method. In AIP Conference Proceedings, 2757, 060001.
[3] Fomin, O., Polozhaenko, S., Krykun, V., Orlov, A., & Lys, D. (2023). Interpretation of dynamic models based on neural networks in the form of integral-power series. In: Arsenyeva, O., Romanova, T., Sukhonos, M., & Tsegelnyk, Y. (eds.) Smart Technologies in Urban Engineering. STUE 2022. Lecture Notes in Networks and Systems, 536, 258-265, Springer, Cham.
[4] Giannini, F., Colantonio, P., Orengo, G., Serino, A., Stegmayer, G., Pirola, M., & Ghione, G. (2007). Neural networks and Volterra series for time-domain power amplifier behavioral models. International Journal of RF and Microwave Computer-Aided Engineering, 17(2), 160-168.
[5] Khandani, M.K., & Mikhael, W.B. (2020). A study on network size reduction using sparse input representation in time delay neural networks. In 2020 IEEE 63rd International Midwest Symposium on Circuits and Systems (MWSCAS) (pp. 864-867). Springfield, MA, USA.
[6] Liu, W., Na, W., Feng, F., Zhu, L., & Lin, Q. (2020). A Wiener-type dynamic neural network approach to the modeling of nonlinear microwave devices and its applications. In 2020 IEEE MTT-S International Conference on Numerical Electromagnetic and Multiphysics Modeling and Optimization (NEMO) (pp. 1-3). Hangzhou, China.
[7] Liu, W., Na, W., Zhu, L., & Zhang, Q.-J. (2016). A review of neural network based techniques for nonlinear microwave device modeling. In 2016 IEEE MTT-S International Conference on Numerical Electromagnetic and Multiphysics Modeling and Optimization (NEMO) (pp. 1-2). Beijing, China.
[8] Liu, W., Na, W., Zhu, L., Ma, J., & Zhang, Q.-J. (2017). A Wiener-type dynamic neural network approach to the modeling of nonlinear microwave devices. IEEE Transactions on Microwave Theory and Techniques, 65(6), 2043-2062.
[9] Liu, W., Su, Y., and Zhu, L. (2021). Nonlinear device modeling based on dynamic neural networks: A review of methods. In 2021 IEEE 4th International Conference on Electronic Information and Communication Technology (ICEICT) (pp. 662-665).
[10] Xi'an, China. Liu, W., Su, Y., Tan, H., Feng, F., & Zhang, B. (2022). A review of Wiener-type dynamic neural network for nonlinear device modeling. In 2022 IEEE MTT-S International Microwave Workshop Series on Advanced Materials and Processes for RF and THz Applications (IMWSAMP) (pp. 1-3). Guangzhou, China.
[11] Liu, W., Zhu, L., Feng, F., Zhang, W., Zhang, Q.-J., Qian, L., & Liu, G. (2020). A time delay neural network based technique for nonlinear microwave device modelling. Micromachines, 11(9), 831. Basel.
[12] Liu, W., Zhu, L., Na, W., & Zhang, Q.-J. (2016). An overview of neuro-space mapping techniques for microwave device modeling. In 2016 IEEE MTT-S Latin America Microwave Conference (LAMC) (pp. 1-3). Puerto Vallarta, Mexico.
[13] Meruelo, C., Simpson, D.M., Veres, S.M., & Newland, Ph.L. (2016). Improved system identification using artificial neural networks and analysis of individual differences in responses of an identified neuron. Neural Networks, 75, 56-65.
[14] Mitrea, C.A., Lee, C.K.M., & Wu, Z. (2009). A comparison between neural networks and traditional forecasting methods: Case study. International Journal of Engineering Business Management, 1(2), 19-24.
[15] Pavlenko, V.D., & Pavlenko, S.V. (2023). Deterministic identification methods for nonlinear dynamical systems based on the Volterra Model. Applied Aspects of Information Technology, 1(1) (Jun.), 11-32.
[16] Rao, A.R., & Reimherr, M. (2021). Non-linear functional modelling using neural networks. Retrieved from https://arxiv.org/abs/2104.09371.
[17] Rudin, C., & Radin, J. (2019). Why are we using black box models in AI when we don’t need to? A lesson from an explainable AI competition. Harvard Data Science Review, 2(1). Schoukens, J., & Ljung, L. (2019). Nonlinear system identification: A user-oriented road map. IEEE Control Systems Magazine, 39(6), 28-99.
[18] Sen, J. (2021). Machine Learning – Algorithms, Models and Applications. London, UK, IntechOpen.
[19] Stegmayer, G., Pirola, M., Orengo, G., & Chiotti, O. (2004). Towards a Volterra series representation from a neural network model. WSEAS Transactions on Circuits and Systems, archive 1, 55-61.
[20] Sugiyama, M., Sawai, H., & Waibel, A.H. (1991). Review of TDNN (time delay neural network) architectures for speech recognition. In IEEE International Sympoisum on Circuits and Systems (pp. 582-585), 1.
[21] Todorovic, N., & Klan, P. (2006). State of the art in nonlinear dynamical system identification using artificial neural networks. In 2006 8th Seminar on Neural Network Applications in Electrical Engineering (pp. 103-108). Belgrade, Serbia.
[22] Wang, C.-H., Chen, P.-C., Lin, P.-Z. & Lee, T.-T. (2009). A dynamic neural network model for nonlinear system identification. In 2009 IEEE International Conference on Information Reuse & Integration (pp. 440-441). Las Vegas, NV, USA.
[23] Zhu, L., Zhang, Q., Liu, K., Ma, Y., Peng, B., & Yan, S. (2016). A novel dynamic neurospace mapping approach for nonlinear microwave device modeling. In IEEE Microwave and Wireless Components Letters (pp. 131-133), 26(2).