МЕТОДИКА ОЦЕНКИ ЭНЕРГОПОТРЕБЛЕНИЯ МОДЕЛЕЙ ГЛУБОКОГО ОБУЧЕНИЯ НА ГРАНИЧНЫХ УСТРОЙСТВАХ И ЭНЕРГООРИЕНТИРОВАННОЕ ПРОЕКТИРОВАНИЕ
Keywords:
глубокое обучение, энергопотребление, граничные вычисления, TinyML, дистилляция знаний, поиск нейронных архитектур, методика оценки, микроконтроллер.Abstract
В статье анализируются методика оценки энергопотребления моделей глубокого обучения на граничных устройствах с ограниченными вычислительными ресурсами и подходы к энерго-ориентированному проектированию. Цель исследования – обосновать ограниченность косвенных показателей, таких как число параметров и операций, предложить методику оценки, основанную на измерении энергопотребления на реальном устройстве, а также определить роль эффективных архитектур, дистилляции знаний и аппаратно-ориентированного поиска нейронных архитектур. Использованы методы системного и сравнительного анализа, а также моделирования. Предложена система показателей, совместно учитывающая энергию одного вывода, пиковый объём оперативной памяти, задержку и точность. Сделан вывод, что энергоэффективность должна закладываться как ограничение с самого начала проектирования, а не на завершающем этапе.References
1. Strubell E., Ganesh A., McCallum A. Energy and Policy Considerations for Deep Learning in NLP // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL). 2019. P. 3645–3650.
2. Sze V., Chen Y.-H., Yang T.-J., Emer J. S. Efficient Processing of Deep Neural Networks: A Tutorial and Survey // Proceedings of the IEEE. 2017. Vol. 105, No. 12. P. 2295–2329.
3. Yang T.-J., Chen Y.-H., Sze V. Designing Energy-Efficient Convolutional Neural Networks Using Energy-Aware Pruning // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 5687–5695.
4. Howard A. G., Zhu M., Chen B. et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. 2017. arXiv:1704.04861.
5. Hinton G., Vinyals O., Dean J. Distilling the Knowledge in a Neural Network. 2015. arXiv:1503.02531.
6. Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // Proceedings of the 36th International Conference on Machine Learning (ICML). PMLR 97. 2019. P. 6105–6114.
7. Lin J., Chen W.-M., Lin Y., Cohn J., Gan C., Han S. MCUNet: Tiny Deep Learning on IoT Devices // Advances in Neural Information Processing Systems (NeurIPS). 2020. Vol. 33.
8. Banbury C., Reddi V. J., Torelli P. et al. MLPerf Tiny Benchmark // NeurIPS Datasets and Benchmarks Track. 2021. arXiv:2106.07597.
9. Tan M., Chen B., Pang R. et al. MnasNet: Platform-Aware Neural Architecture Search for Mobile // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 2820–2828.
10. Указ Президента Республики Узбекистан «Об утверждении Стратегии «Цифровой Узбекистан – 2030» и мерах по её эффективной реализации» от 5 октября 2020 г. № УП-6079 // Национальная база данных законодательства Республики Узбекистан. URL: https://lex.uz.