ВЛИЯНИЕ МЕТОДОВ КВАНТОВАНИЯ И ПРУНИНГА НА ЭНЕРГОЭФФЕКТИВНОСТЬ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ НА УСТРОЙСТВАХ С ОГРАНИЧЕННЫМИ РЕСУРСАМИ

Authors

  • Насриддинов Бурхониддин Зухриддин угли Author

Keywords:

глубокое обучение, энергоэффективность, квантование, прунинг, сжатие моделей, граничные вычисления, микроконтроллер, нейронная сеть.

Abstract

В статье проводится сравнительный анализ двух основных методов снижения энергопотребления при выполнении глубоких нейронных сетей на устройствах с ограниченными вычислительными ресурсами – квантования и прунинга. Цель исследования – обосновать механизм влияния этих методов на энергоэффективность с точки зрения энергии обращений к памяти и арифметических операций, а также предложить последовательность их совместного применения. Использованы методы системного и сравнительного анализа, а также обобщения экспериментальных результатов, опубликованных в литературе. Показано, что основным источником энергозатрат являются не арифметические операции, а чтение данных из памяти, поэтому наибольший эффект дают методы, сокращающие объём модели. Сделан вывод, что последовательное применение структурного прунинга и 8-битного целочисленного квантования является наиболее практичным подходом для устройств с ограниченными ресурсами.

References

1. Han S., Mao H., Dally W. J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding // International Conference on Learning Representations (ICLR). 2016. arXiv:1510.00149.

2. Horowitz M. Computing’s Energy Problem (and What We Can Do About It) // IEEE International Solid-State Circuits Conference (ISSCC). Digest of Technical Papers. 2014. P. 10–14.

3. Jacob B., Kligys S., Chen B. et al. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 2704–2713.

4. Sze V., Chen Y.-H., Yang T.-J., Emer J. S. Efficient Processing of Deep Neural Networks: A Tutorial and Survey // Proceedings of the IEEE. 2017. Vol. 105, No. 12. P. 2295–2329.

5. Krishnamoorthi R. Quantizing Deep Convolutional Networks for Efficient Inference: A Whitepaper. 2018. arXiv:1806.08342.

6. Yang T.-J., Chen Y.-H., Sze V. Designing Energy-Efficient Convolutional Neural Networks Using Energy-Aware Pruning // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 5687–5695.

7. Gholami A., Kim S., Dong Z. et al. A Survey of Quantization Methods for Efficient Neural Network Inference. 2021. arXiv:2103.13630.

8. Li H., Kadav A., Durdanovic I., Samet H., Graf H. P. Pruning Filters for Efficient ConvNets // International Conference on Learning Representations (ICLR). 2017. arXiv:1608.08710.

9. Постановление Президента Республики Узбекистан «О мерах по созданию условий для ускоренного внедрения технологий искусственного интеллекта» от 17 февраля 2021 г. № ПП-4996 // Национальная база данных законодательства Республики Узбекистан. URL: https://lex.uz.

Published

2026-10-15