اكتسبت الشبكات العصبية الالتفافية (CNNs) — وهي نوع من الشبكات العصبية الاصطناعية (ANN) في مجال التعلم العميق (DL) — شعبية في تطبيقات رؤية الحاسوب المختلفة وتجذب أبحاثًا في مجالات أخرى منها الإدراك الروبوتي. تُطوَّر CNN لاكتساب الأنماط المكانية للخصائص ذاتيًا وفعالية عبر الانتشار الخلفي، مستفيدة من عناصر تشمل الطبقات الالتفافية وطبقات التجميع والطبقات كاملة الاتصال. وتركز المراجعات الحالية غالبًا على تطبيقات CNN في سياقات متنوعة، مهملة منظورًا شاملًا حول CNN ومغفلة أفكارًا جديدة معروضة مؤخرًا تشمل الإدراك الروبوتي.
تعرض هذه الورقة المراجعة المبادئ الأساسية لـ CNN وتطبيقاتها في مهام رؤية الحاسوب المتنوعة للإدراك الروبوتي مع معالجة التحديات والآفاق المستقبلية لمجال رؤية الحاسوب في تحسين الإدراك الروبوتي. وتتناول الورقة التاريخ والمفاهيم الأساسية ومبادئ العمل والتطبيقات وأهم مكونات CNN. ويُعد فهم المفاهيم والفوائد والقيود المرتبطة بـ CNN أمرًا حاسمًا لاستغلال إمكاناتها في الإدراك الروبوتي بهدف تعزيز أداء الروبوتات وذكائها.
تحقق الشبكات العصبية الالتفافية (CNNs) نتائج مذهلة وتُصنف بين أبرز الشبكات العصبية الاصطناعية في التعلم العميق. وقد أتاح رؤية الحاسوب القائمة على CNN مهام كانت تُظن مستحيلة — المتاجر ذاتية الخدمة والتعرف على الأنشطة البشرية والسيارات ذاتية القيادة والتعرف على الوجوه والإدراك الروبوتي والرعاية الصحية الذكية [1،2]. وأعظم مزايا CNN تقليل معاملات ANN: فهي تفترض مدخلات معتمدة مكانيًا وتستخلص خصائص أكثر تجريدًا نحو الطبقات الأعمق [3]، محددة المعلومات ذات الصلة تلقائيًا دون إشراف بشري [4].
وCNN شبكة أمامية التغذية معيارية تتعلم السمات عبر تحسين النوى، مستوحاة من عصبونات الحيوان والإنسان [5]. وتتكون بنيتها من ثلاث طبقات رئيسية: طبقات التفافية تطبق مرشحات قابلة للتعلم لاستخلاص خرائط السمات المكانية؛ وطبقات تجميع تُصغّر الخرائط للثبات الانتقالي والكفاءة؛ وطبقات كاملة الاتصال تجمع السمات عالية المستوى للتصنيف. ومع مدخلات صوتية أو كلامية أو صور تتفوق CNN على أنواع الشبكات الأخرى [7]. ثم يستعرض المسح النماذج الكلاسيكية والتطبيقات في الإدراك الروبوتي والمسارات المستقبلية نحو CNN أنفع.
يُعد LeNet-5 (LeCun وآخرون [6]) أول CNN غالبًا: سبع طبقات (ثلاث التفافية وطبقتا تجميع/تقليل عينات وواحدة كاملة الاتصال وواحدة إخراج) عالجت صور البكسل مباشرة للتعرف على الأرقام، مزيلة هندسة السمات اليدوية. ووسّع AlexNet (Krizhevsky وSutskever وHinton [26]) ذلك بـ 60 مليون معامل و650,000 عصبون، مثبتًا أن عمق النموذج مع التدريب على GPU حاسم للفوز في ImageNet ومشعلًا طفرة التعلم العميق. وعمّق VGGNet رزم مرشحات 3×3 الصغيرة ليثبت أن العمق ذاته يقود الدقة.
وأدخل GoogLeNet وحدات Inception التي تشغّل أحجام مرشحات متعددة بالتوازي لتحقيق الكفاءة؛ وأضاف ResNet (He وآخرون) وصلات تخطٍّ متبقية مكّنت تدريب مئات الطبقات بتيسير تدفق التدرج؛ واستخدم MobileNet الالتفافات القابلة للفصل عميقًا للنشر على الجوال والمضمّن. وترسم هذه العائلات الست معًا القوس من إثبات المفهوم إلى أعمدة رؤية عميقة وفعالة وقابلة للنشر يبني عليها الإدراك الروبوتي.
يضع المسح نفسه مقابل مسوح سابقة مثل تحليل Li وآخرين لتطبيقات CNN وآفاقها [11] وRaj وKos حول تطور الذكاء الاصطناعي ونطاقه المستقبلي [12] والشرح التعليمي لـ Albawi وآخرين [13]. وبينما تغطي هذه البنى أو اتجاهات الذكاء الاصطناعي العريضة، فإنها تولي اهتمامًا ضئيلًا للإدراك الروبوتي — فالروبوتات العاملة بين البشر يجب أن تفسّر الإشارات الاجتماعية وتتوقع الأفعال البشرية وتحافظ على تفاعل سلس [8] — وهو ما يتمحور حوله هذا البحث.
ومنهجيًا يجمع البحث بين سرد تاريخي (من LeNet [6] إلى الأعمدة الحديثة) وعرض على مستوى المكونات (الطبقات الالتفافية والتجميعية وكاملة الاتصال) ومسح تطبيقي يمتد من التعرف على الأنشطة البشرية وتقدير الوضعية وكشف الأجسام وتفادي العوائق، ومناقشة استشرافية لتحديات خاصة بالإدراك مثل الهشاشة خارج التوزيع [79] وقيود طاقة GPU على الروبوتات الجوالة.
تُمسح أربع عناقيد تطبيقية بدقات تمثيلية. يستخدم التعرف على الأنشطة البشرية الشبكات ثنائية التدفق (73.80% [73]) وKeyVolume (68.90% [74]) ومتغيرات الالتفاف الزمني الثابت المقياس وطويل الأمد (63.30–69.50%) وواصفات الالتفاف العميق المجمعة مساريًا (67.20%) وشبكات القطاعات الزمنية (65.90% [75]) على مجموعات فيديو معيارية. ويكمل المجموعة تقدير الوضعية البشرية وكشف الأجسام (من عائلة R-CNN إلى كاشفات اللقطة الواحدة) وتفادي العوائق، مع مقايضة الدقة بزمن الاستجابة للاستخدام الآني.
والنمط ثابت عبر العناقيد: تتعلم الطبقات الالتفافية التراتبيات المكانية، ويمنح التجميع متانة أمام الإزاحات، وترسم الرؤوس كاملة الاتصال السمات إلى القرارات — وهي الوصفة ذاتها وراء أعمدة حقبة ImageNet في القسم 2. ويؤكد المسح أن دقة المعايير وحدها مضللة للروبوتات، حيث تتطلب الإضاءة والاحتجاب وتغيرات زاوية الرؤية تحليل المتانة الذي يتناوله القسمان 5 و6.
تحتاج الروبوتات الداخلة إلى الحياة اليومية عبر الصناعات المؤتمتة إدراكًا يقرأ الإشارات الاجتماعية الظاهرة أثناء التفاعلات [8]: متوقعًا الأفعال البشرية للحفاظ على تواصل مقبول اجتماعيًا وسلس. وتوفر CNN ذلك بتحويل مدخلات الكاميرا والـ LiDAR المرئي والعمق إلى كشوفات ووضعيات وأنشطة وخرائط فضاء حر تستهلكها المخططات والمتحكمات — من الروبوتات الجوالة (MR) في المستودعات إلى روبوتات الخدمة الملاحية بين الحشود.
ويفحص القسم واقعات النشر: تعيد رزم الإدراك استخدام أعمدة مدربة مسبقًا على ImageNet (ResNet وMobileNet) مضبوطة على بيانات يجمعها الروبوت؛ وتعالج النماذج الزمنية (ثنائية التدفق وTSN) تدفقات الأنشطة؛ وتغذي خطوط الكشف والتتبع تفادي العوائق. ولا يتوقف النجاح على درجات الصدارة بل على المعايرة ومعالجة عدم اليقين والتدهور الرشيق عندما يواجه الروبوت مشاهد خارج توزيع تدريبه.
ما زالت فجوة كبيرة بين نطاق الإدراك ومرونته اللذين تتطلبهما روبوتات العالم الحقيقي ومهارات الإدراك الحالية: فالخوارزميات المعاصرة هشة تفشل فجأة خارج توزيع تدريبها أو عند الوقائع النادرة (ذيول التوزيعات) [79]. ويدعو المسح إلى خوارزميات تتكيف عبر السياقات وتعلن مجالات تشغيل محددة بدقة وتمكّن المستخدمين من الحكم على الجدارة بالثقة أثناء التنفيذ.
والحوسبة هي عنق الزجاجة الثاني: فيعتمد الإدراك القائم على التعلم اعتمادًا كبيرًا على وحدات GPU التي تتعارض متطلبات طاقتها مع قيود حجم الروبوت وميزانية طاقته — حتى السيارات ذاتية القيادة ذات الحيز للمعالجات الكبيرة تواجه حدودًا. وتشمل الاتجاهات المستقبلية لذلك بنى فعالة (التفافات قابلة للفصل بأسلوب MobileNet والتقليم والتكميم) والتكييف المجالي والتعلم المستمر للمتانة خارج التوزيع وقرارات CNN الشفافة القابلة للتصور وربط أوثق للإدراك بالتخطيط لتتصرف الروبوتات بأمان على مدركات غير مؤكدة.
تتتبع هذه الدراسة الموسعة CNN من LeNet-5 [6] عبر AlexNet [26] وVGGNet وGoogLeNet وResNet وMobileNet؛ وتشرح الطبقات الالتفافية والتجميعية وكاملة الاتصال؛ وتمسح الأعمال ذات الصلة [11-13]؛ وترسم التطبيقات الرئيسية — التعرف على الأنشطة وتقدير الوضعية وكشف الأجسام وتفادي العوائق — على الإدراك الروبوتي المبني للبيئات البشرية [8]. ورسالتها أن أساسيات CNN ناضجة، لكن نشرها في الروبوتات ليس كذلك.
وتخلص الورقة إلى أن فهم مفاهيم CNN وفوائدها وقيودها حاسم لاستغلالها في الإدراك الروبوتي لتعزيز أداء الروبوتات وذكائها. فسد فجوة المتانة (ذيول خارج التوزيع [79]) وملاءمة الإدراك لميزانيات طاقة الروبوتات وجعل قرارات CNN شفافة وجديرة بالثقة يحدد أجندة البحث التي ستحمل CNN من انتصارات المعايير إلى مساعدات روبوتية يومية.
Convolutional neural networks (CNNs), a type of artificial neural network (ANN) in the deep learning (DL) domain, have gained popularity in several computer vision applications and are attracting research in other fields, including robotic perception. CNNs are developed to autonomously and effectively acquire spatial patterns of characteristics using backpropagation, leveraging an array of elements, including convolutional layers, pooling layers, and fully connected layers. Current reviews predominantly emphasize CNNs' applications in various contexts, neglecting a comprehensive perspective on CNNs and failing to address certain recently presented new ideas, including robotic perception.
This review paper presents an overview of the fundamental principles of CNNs and their applications in diverse computer vision tasks for robotic perception while addressing the corresponding challenges and future prospects for the domain of computer vision in improved robotic perception. This paper addresses the history, basic concepts, working principles, applications, and the most important components of CNNs. Understanding the concepts, benefits, and constraints associated with CNNs is crucial for exploiting their possibilities in robotic perception, with the aim of enhancing robotic performance and intelligence.
Convolutional neural networks (CNNs) are achieving incredible results and rank among the most prominent ANNs in deep learning. CNN-based computer vision has made feasible tasks once thought unthinkable — self-service stores, human activity recognition, driverless cars, facial recognition, robotic perception, and smart healthcare [1,2]. CNNs' greatest advantage is reducing ANN parameters: they assume spatially dependent inputs and extract increasingly abstract characteristics toward deeper layers [3], automatically identifying relevant information without human supervision [4].
A CNN is a standardized feed-forward network that learns features through kernel optimization, inspired by animal and human neurons [5]. Its architecture has three main layers: convolutional layers that apply learnable filters to extract spatial feature maps; pooling layers that down-sample maps for translation invariance and efficiency; and fully connected layers that combine high-level features for classification. Given audio, speech, or image inputs, CNNs outperform other network types [7]. The review then surveys classic models, applications in robotic perception, and future paths toward more useful CNNs.
LeNet-5 (LeCun et al. [6]) is often considered the first CNN: seven layers (three convolutional, two pooling/subsampling, one fully connected, one output) that processed pixel images directly for digit recognition, removing hand feature engineering. AlexNet (Krizhevsky, Sutskever, Hinton [26]) scaled this up with 60 million parameters and 650,000 neurons, proving model depth plus GPU training decisive for ImageNet victory and igniting the deep learning boom. VGGNet deepened stacks of small 3×3 filters to show depth itself drives accuracy.
GoogLeNet introduced Inception modules that run multiple filter sizes in parallel for efficiency; ResNet (He et al.) added residual skip connections enabling hundred-layer training by easing gradient flow; and MobileNet used depthwise separable convolutions for mobile and embedded deployment. Together these six families trace the arc from proof-of-concept to efficient, very deep, and deployable vision backbones that robotics perception builds upon.
The review positions itself against prior surveys such as Li et al.'s analysis of CNN applications and prospects [11], Raj and Kos on AI evolution and future scope [12], and Albawi et al.'s tutorial explanation of CNNs [13]. While these cover architectures or broad AI trends, they devote little attention to robotic perception — robots operating among humans must interpret social signals, anticipate human actions, and maintain seamless interaction [8] — which this paper centers.
Methodologically the paper combines a historical account (from LeNet [6] through modern backbones), a component-level exposition (convolution, pooling, fully connected layers), an application survey spanning human activity recognition, pose estimation, object detection, and obstacle avoidance, and a forward-looking discussion of perception-specific challenges such as out-of-distribution fragility [79] and GPU power constraints on mobile robots.
Four application clusters are surveyed with representative accuracies. Human activity recognition uses two-stream networks (73.80% [73]), KeyVolume (68.90% [74]), scale-invariant and long-term temporal convolution variants (63.30–69.50%), trajectory-pooled deep-convolutional descriptors (67.20%), and temporal segment networks (65.90% [75]) on benchmark video datasets. Human pose estimation, object detection (R-CNN family through single-shot detectors), and obstacle avoidance complete the set, each trading accuracy against latency for real-time use.
Across clusters the pattern is consistent: convolutional layers learn spatial hierarchies, pooling grants robustness to shifts, and fully connected heads map features to decisions — the same recipe behind the ImageNet-era backbones of Section 2. The review stresses that benchmark accuracy alone misleads robotics, where lighting, occlusion, and viewpoint shifts demand the robustness analysis taken up in Sections 5 and 6.
Robots entering daily life through automated industries need perception that reads social signals revealed during interactions [8]: anticipating human actions to keep contact socially acceptable and seamless. CNNs supply this by turning camera, lidar-visualized, and depth inputs into detections, poses, activities, and free-space maps that planners and controllers consume — from warehouse mobile robots (MR) to service robots navigating crowds.
The section examines deployment realities: perception stacks reuse ImageNet-pretrained backbones (ResNet, MobileNet) fine-tuned on robot-collected data; temporal models (two-stream, TSN) handle activity streams; and detection plus tracking pipelines feed obstacle avoidance. Success hinges not on leaderboard scores but on calibration, uncertainty handling, and graceful degradation when the robot meets scenes beyond its training distribution.
A large gap persists between the scope and resilience that real-world robotics demands and current perception skills: contemporary algorithms are fragile, failing unexpectedly beyond their training distribution or on rare distribution tails [79]. The review calls for algorithms that adapt across contexts, declare well-defined operational domains, and let users judge trustworthiness during execution.
Compute is the second bottleneck: learning-based perception depends heavily on GPUs whose power demands clash with robots' size and energy budgets — even self-driving cars with room for large processors face limits. Future trends therefore include efficient architectures (MobileNet-style separable convolutions, pruning, quantization), domain adaptation and continual learning for out-of-distribution robustness, transparent and visualizable CNN decisions, and tighter coupling of perception with planning so robots act safely on uncertain percepts.
This extensive study traces CNNs from LeNet-5 [6] through AlexNet [26], VGGNet, GoogLeNet, ResNet, and MobileNet; explains convolutional, pooling, and fully connected layers; surveys related work [11–13]; and maps major applications — activity recognition, pose estimation, object detection, obstacle avoidance — onto robotic perception built for human environments [8]. Its message is that CNN fundamentals are mature, but deployment in robotics is not.
The paper concludes that understanding CNN concepts, benefits, and constraints is crucial for exploiting them in robotic perception to enhance robotic performance and intelligence. Closing the robustness gap (out-of-distribution tails [79]), fitting perception into robot power budgets, and making CNN decisions transparent and trustworthy define the research agenda that will carry CNNs from benchmark victories into everyday robotic helpers.