Журнал: Том 31, № 2, 2026
Сторінки: 85 – 96
DOI: https://doi.org/10.62660/bcstu/2.2026.85
239 Переглядів

Застосування методів лінійної алгебри для оптимізації обробки та зберігання даних у сучасних інформаційних системах

Олександр Крайчук, Сергій Крайчук, Наталія Остапчук
Отримано 29.12.2025
Доопрацьовано 25.03.2026
Прийнято 18.05.2026
Опубліковано 26.06.2026

Анотація

Метою дослідження було узагальнити підходи до узгодження рішень на етапах планування, виконання та фізичного рівня подання даних в інформаційних системах за домінування ресурсних обмежень під час оперування масивними наборами. Методологія базувалася на системно-аналітичній формалізації, порівняльноаналітичному узагальненні та типологізації, порівнянному аналізі, систематизації та інтегративному синтезі. Встановлено, що лінійна алгебра формалізує подання даних як матриць/векторів і обчислення як послідовність перетворень. Узагальнення операцій (напівкільця) поширює ці примітиви на графові та булеві задачі, а Graph Basic Linear Algebra Subprograms стандартизує їх виконання для розріджених структур. Ефективність визначається узгодженим ланцюгом “переписування → вартісна модель → фізичне” виконання: переписування зменшує проміжні дані, а вартісна модель обирає план за введення/виведення даних, пам’яттю, розрідженістю та паралелізмом, без неї лишаються евристики. Виявлено, що факторизовані подання зменшують надлишковість і тиск на пам’ять та введення/виведення даних (для приєднань/групувань) за підтримки системою. Randomized Numerical Linear Algebra і скетчинг знижують витрати та керують компромісом “точність-ресурси” в потоковій обробці. Компресія матриць (низькорангове подання, знижена точність) зменшує пам’ять і трафік та прискорює обчислення за контрольованої втрати точності. У векторних системах керування базами даних і розподілених системах вузьким місцем є введення/виведення даних і перерозподіл між вузлами, тому DShuffle переносить частину обробки ближче до даних, підкреслюючи роль інфраструктурної оптимізації. Лінійно-алгебраїчне подання обчислень створює основу для узгодженої оптимізації переписування, вибір планів і виконання, зменшуючи матеріалізацію та переміщення даних за обмежень введення/виведення, пам’яті й пропускної здатності. Практична значимість результатів полягає у можливості їх застосування розробниками та інженерами інформаційних систем для узгодженого вибору форматів даних, планів виконання й обчислювальних примітивів, щоб зменшити матеріалізацію та витрати на введення/виведення, пам’ять і мережевий обмін

Ключові слова

операції; матриці; ресурсні обмеження; розрідженність; матеріалізація; бази даних

Використані джерела

  1. Ahfock, D., Astle, W.J., & Richardson, S. (2023). On randomized sketching algorithms and the Tracy-Widom law. Statistics and Computing, 33, article number 34. doi: 10.1007/s11222-022-10148-5.
  2. Bao, X., et al. (2024). Rock: Cleaning data by embedding ML in logic rules. In Companion of the 2024 international conference on management of data (pp. 106-119). New York: Association for Computing Machinery. doi: 10.1145/3626246.3653372.
  3. Boehm, M., Interlandi, M., & Jermaine, C. (2023). Optimizing tensor computations: From applications to compilation and runtime techniques. In Companion of the 2023 international conference on management of data (pp. 53-59). New York: Association for Computing Machinery. doi: 10.1145/3555041.358940.
  4. Brock, B., Buluç, A., Mattson, T.G., McMillan, S., & Moreira, J. (2021). The GraphBLAS C API specification: Version 2.0.0. Retrieved from https://graphblas.org/docs/GraphBLAS_API_C_v2.0.0.pdf.
  5. Ding, B., Narasayya, V., & Chaudhuri, S. (2024). Extensible query optimizers in practice. Foundations and Trends in Databases, 14(3-4), 186-402. doi: 10.1561/1900000077.
  6. Ding, C., Li, S., Lu, K., Yao, T., Wang, D., Wu, H., Wan, J., Tan, Z., & Xie, C. (2025). DShuffle: DPU-optimized shuffle framework for large-scale data processing. In 2025 USENIX annual technical conference (pp. 1371-1386). Boston: USENIX Association.
  7. Geerts, F., Muñoz, T., Riveros, C., & Vrgoč, D. (2021). Expressive power of linear algebra query languages. In Proceedings of the 40th ACM SIGMOD-SIGACT-SIGAI symposium on principles of database systems (pp. 342-354). New York: Association for Computing Machinery. doi: 10.1145/3452021.3458314.
  8. GraphBLAS Forum. (n.d.). Retrieved from https://graphblas.org/.
  9. Hordiichuk-Bublivska, O.V., & Fabri, L.P. (2022). Matrix factorization of big data in the industrial systems. Ukrainian Journal of Information Technology, 4(2), 68-73. doi: 10.23939/ujit2022.02.068.
  10. Hsu, Y.-C., Hua, T., Chang, S.-E., Lou, Q., Shen, Y., & Jin, H. (2022). Language model compression with weighted low-rank factorization. ArXiv. doi: 10.48550/arXiv.2207.00112.
  11. Jin, G., Bian, H., Chen, Y., & Du, X. (2022). Columnar storage optimization and caching for data lakes. In Proceedings of the 25th international conference on extending database technology (pp. 419-423). Edinburgh: Open Proceedings. doi: 10.48786/edbt.2022.33.
  12. Kwon, T., Ko, J., Jung, J., Jang, J.-G., & Shin, K. (2025). Compact lossy compression of tensors via neural tensor-train decomposition. Knowledge and Information Systems, 67, 1169-1211. doi: 10.1007/s10115024-02252-x.
  13. Lane, P.A., & Booth, J.D. (2023). Heterogeneous sparse matrix-vector multiplication via compressed sparse row format. Parallel Computing, 115, article number 102997. doi: 10.1016/j.parco.2023.102997.
  14. Li, Z., Sun, W., Zhan, D., Kang, Y., Chen, L., Bozzon, A., & Hai, R. (2024). Amalur: The convergence of data integration and machine learning. IEEE Transactions on Knowledge and Data Engineering, 36(12), 7353-7367. doi: 10.1109/ TKDE.2024.3357389.
  15. Liu, C., Pavlenko, A., Interlandi, M., & Haynes, B. (2025). Data formats in analytical DBMSs: Performance tradeoffs and future directions. The VLDB Journal, 34, article number 30. doi: 10.1007/s00778-025-00911-1.
  16. Marichal, R., Dufrechou, E., & Ezzatti, P. (2021). Optimizing sparse matrix storage for the big data era. In M. Naiouf, E. Rucci, F. Chichizola & L. De Giusti (Eds.), 9th conference: Cloud computing, big data & emerging topics (pp. 121-135). Cham: Springer. doi: 10.1007/978-3-030-84825-5_9.
  17. Mastoras, A., Anagnostidis, S., & Yzelman, A.-J.N. (2023). Design and implementation for nonblocking execution in GraphBLAS: Tradeoffs and performance. ACM Transactions on Architecture and Code Optimization, 20(1), article number 6. doi: 10.1145/3561652.
  18. Muñoz, T. (2025). Enumeration-based dynamic query processing for linear algebra workloads in data science. In VLDB 2025: PhD workshop. London: QEII Centre.
  19. Olteanu, D. (2023). Report on the workshop on factorized databases. SIGMOD Record, 52(2), 53-56.
  20. Pan, J.J., Wang, J., & Li, G. (2024). Survey of vector database management systems. The VLDB Journal, 33, 15911615. doi: 10.1007/s00778-024-00864-x.
  21. Pan, Y., Sun, J., & Yu, H. (2023). LM-DiskANN: Low memory footprint in disk-native dynamic graph-based ANN indexing. In 2023 IEEE international conference on big data (pp. 5987-5996). Sorrento: IEEE. doi: 10.1109/ BigData59044.2023.10386517.
  22. Ren, Z., Doekemeijer, K., Apparao, P., & Trivedi, A. (2025). Storage-based approximate nearest neighbor search: What are the performance, cost, and I/O characteristics? In 2025 IEEE international symposium on workload characterization (pp. 407-422). Irvine: IEEE. doi: 10.1109/IISWC66894.2025.00041.
  23. Saha, R., Srivastava, V., & Pilanci, M. (2023). Matrix compression via randomized low rank and low precision factorization. In Proceedings of the 37th international conference on neural information processing systems (pp. 18828-18872). Red Hook: Curran Associates Inc.
  24. Serrano, T.M., Riveros, C., & Vansummeren, S. (2024). Enumeration and updates for conjunctive linear algebra queries through expressibility. In Proceedings of the 27th international conference on database theory (ICDT 2024). Wadern: Dagstuhl Publishing. doi: 10.4230/LIPIcs.ICDT.2024.12.
  25. Shen, Z., Cai, Y., Cheng, K., Lee, P.P.C., Li, X., Hu, Y., & Shu, J. (2025). A survey of the past, present, and future of erasure coding for storage systems. ACM Transactions on Storage, 21(1), article number 4. doi: 10.1145/3708994.
  26. Striamets, S.P., & Opotyak, Yu.V. (2021). Matrix parallel processor based on a homogeneous computational medium using an advanced computing cell. Ukrainian Journal of Information Technology, 3(1), 78-84. doi: 10.23939/ujit2021.03.078.
  27. Sun, W., Katsifodimos, A., & Hai, R. (2025). Accelerating machine learning queries with linear algebra query processing. Distributed and Parallel Databases, 43, article number 8. doi: 10.1007/s10619-02407451-7.
  28. Tian, B., Liu, H., Duan, Z., Liao, X., Jin, H., & Zhang, Y. (2024). Scalable billion-point approximate nearest neighbor search using SmartSSDs. In Proceedings of the 2024 USENIX annual technical conference (pp. 1135-1150). San Francisco: USENIX Association.
  29. Udell, M., & Frangella, Z. (2023). Randomized numerical linear algebra for optimization. Retrieved from https:// web.stanford.edu/~udell/doc/udell2022_randnla4opt.pdf.
  30. Yin, H., Wen, D., Li, J., Wei, Z., Zhang, X., Huang, Z., & Li, F. (2024). Optimal matrix sketching over sliding Windows. Proceedings of the VLDB Endowment, 17(9), 2149-2161. doi: 10.14778/3665844.3665847.
  31. Zeng, X., Hui, Y., Shen, J., Pavlo, A., McKinney, W., & Zhang, H. (2023). An empirical evaluation of columnar storage formats. Proceedings of the VLDB Endowment, 17(2), 148-161. doi: 10.14778/3626292.3626298.
  32. Zhang, Z., Liu, F., Huang, G., Liu, X., & Jin, X. (2024). Fast vector query processing for large datasets beyond GPU memory with reordered pipelining. In Proceedings of the 21st USENIX symposium on networked systems design and implementation (pp. 23-40). Santa Clara: USENIX Association.

ЦИТУВАТИ

Kraychuk, O., Kraychuk, S., & Ostapchuk, N. (2026). Application of linear algebra methods for optimising data processing and storage in modern information systems. Bulletin of Cherkasy State Technological University, 31(2), 85-96. https://doi.org/10.62660/bcstu/2.2026.85