في مجالات متنوعة مثل الطاقة والتصنيع والقطاع البحري، حظيت الأنظمة السيبرانية-الفيزيائية (CPSs) باهتمام متزايد. وركزت الأوساط الأكاديمية والصناعة على الجوانب السيبرانية لهذه الأنظمة. ويُعد تقدير المخاطر السيبرانية في الأنظمة السيبرانية-الفيزيائية مجالًا بحثيًا رائجًا تتعدد فيه النهج المقترحة للطرق والممارسات. غير أن أعمالًا قليلة تناولت التقييم الموسع والموضوعي للنهج المقترحة. في هذه الورقة، تُعرض منهجية تقييم متوافقة مع المعايير وتُجرى تجريبيًا لتقييم نهج جديد مقترح لتقدير المخاطر السيبرانية للأنظمة السيبرانية-الفيزيائية. ويستند النهج، المسمى FMECA-ATT&CK، إلى عملية تقدير المخاطر بتحليل أنماط الأعطال وآثارها وحرجيتها (FMECA) مُثرى بدلالات المعرفة المشفرة في إطار التكتيكات والتقنيات والمعرفة الشائعة للخصوم (ATT&CK). وشارك عدة خبراء في تنفيذ عمليتي تقدير مخاطر، FMECA-ATT&CK وBow-Tie، على حالتي استخدام في مجالين تطبيقيين مختلفين، وتحديدًا سفينة ركاب ذاتية القيادة (APS) كحالة بحرية ومحطة فرعية رقمية كحالة طاقية. ويتيح ذلك تقييم النهج وفق مجموعة خصائص هي: قابلية التطبيق، والجدوى، والدقة، والشمول، والقابلية للتكيف، وقابلية التوسع، وسهولة الاستخدام. وتبرز النتائج الفائدة الإيجابية لـ FMECA-ATT&CK في تقدير المخاطر السيبرانية للأنظمة السيبرانية-الفيزيائية على مستوى النماذج والتصميم والمكونات، مع عدة اتجاهات محددة للتحسين. كما ثبت أن منهج التقييم المتوافق مع المعايير وخصائص التقييم عوامل تمكين للتقييم الشامل لطرق تقدير المخاطر السيبرانية.
تزايد الاهتمام بالأنظمة السيبرانية-الفيزيائية عبر المجالين البحري والطاقي، ويشهد القطاع البحري تحولًا كبيرًا في العمليات والتقنية [1]. ويندرج هذا العمل ضمن مشروع Autoferry [2] الهادف إلى عبّارة تنقل الركاب ذاتيًا عبر قناة Trondheim؛ وفي عمل سابق صُنفت العبّارة سفينة ركاب ذاتية القيادة (APS) [3]. وتتزايد الهجمات السيبرانية ضد المجال البحري عددًا وشدة [4]، مستهدفة السفن والموانئ وشركات الشحن: فهجوم الحرمان من الخدمة ضد COSCO [5]، وسرقة تصاميم سرية من شركة Austal لبناء السفن [6]، والفدية ضد Maersk [7] أمثلة بارزة. وتُعد الهجمات ضد السفن منخفضة التعقيد نسبيًا [8]، وتُظهر الحوادث المتعلقة بـ GPS وتقنيات الاتصالات [9] الجدوى والأثر المحتمل.
تدمج APS تقنيات معلومات واتصالات (ICT) وأنظمة تحكم صناعية (ICS) واسعة، مما يجعلها نظامًا سيبرانيًا-فيزيائيًا قد تعرض مخاطره الأمنية سلامة الركاب والبيئة التشغيلية للخطر مباشرة أو غير مباشرة — فاختطاف قدرة التحكم عن بُعد أو الذاتي قد يوجه السفينة نحو تصادم. لذا يُتوخى إدارة المخاطر، وتقدير المخاطر في صميمها كما نوقش في ISO 31010 [10] وISO 27005 [11]، في بنية APS، مع اهتمام إضافي بعلاقة السلامة بالأمن في إدارة مخاطر الأنظمة السيبرانية-الفيزيائية. علاوة على ذلك، تعتمد نهج تقدير المخاطر المسحية اعتمادًا كبيرًا على حكم الخبراء، مما يزيد الجهد اللازم للتقدير المستمر والنتائج المعرضة للتحيز [12].
لمعالجة ذلك، اقترح المؤلفون سابقًا FMECA-ATT&CK [12]، جامعًا عملية تقدير المخاطر FMECA بدلالات المعرفة المشفرة في إطار ATT&CK لتقليل الاعتماد على حكم الخبراء في عدة خطوات. وفي هذه المقالة يُقيَّم FMECA-ATT&CK بإشراك خبراء لتنفيذه ونهج Bow-Tie على حالتي استخدام — APS (بحرية) ومحطة فرعية رقمية (طاقية) — قياسًا لقابلية التطبيق والجدوى والدقة والشمول والقابلية للتكيف وقابلية التوسع وسهولة الاستخدام. والمساهمات هي: تقييم لعملية FMECA-ATT&CK مفتوحة المصدر داعم لتطويرها أداة شبه آلية لمخاطر الأنظمة السيبرانية-الفيزيائية؛ وخصائص تقييم رئيسية صالحة أساسًا للمقارنة؛ ومنهجية تقييم متوافقة مع المعايير ومقللة للتحيز. فيعرض القسم الثاني الخلفية، ويناقش الثالث الأعمال ذات الصلة، ويعرض الرابع منهجية التقييم، ويفصّل الخامس تقييم FMECA-ATT&CK، ويعرض السادس النتائج، ويتأمل السابع القيود والعمل المستقبلي، ويختتم الثامن.
يُتناول التقييم بوصفه عملية تحليل نظام وفق معيار تطوير الأنظمة ISO 15288:2015 [13]، مع تقنيات استنباط الخبراء من IEC 31010:2019 [10] ومقارنة مقابل منهج Bow-Tie الشائع، مطبقة على حالة بحرية (APS) وحالة طاقية (محطة فرعية رقمية). والمعايير ذات الصلة هي IEC 31010:2019 [10] وISO 15288:2015 [13] وIEC 60812 [14]: فطُوّر FMECA-ATT&CK على معيار FMECA في IEC 60812 [14]، ووجه IEC 31010 تقنيات تحديد التهديدات مثل مصنفات التهديدات واستنباط آراء الخبراء، واسترشد تصميم منهجية التقييم بـ ISO 15288.
يحظى MITRE ATT&CK [15] بتبنٍ واسع في الأوساط الأكاديمية والصناعة بوصفه معرفة مشفرة لتكتيكات الخصوم وتقنياتهم وإجراءاتهم (TTP)، مغطيًا تقنية المعلومات المؤسسية وأنظمة ICS/OT والتقنية المتنقلة — وخلافًا للنماذج عالية المستوى مثل STRIDE [16] وسلسلة القتل السيبرانية (Kill Chain) [17]، يقدم تجريدًا شاملًا منخفض المستوى، وتظهر مصطلحاته في تقارير التهديدات [18] وأطر الاختبار مثل CALDERA [19]. لكن ATT&CK ليس بذاته منهج تقدير مخاطر، لذا اختار المؤلفون FMECA [14] وفق معايير IEC 31010 [10] — نطاق المكونات والمعدات والعمليات، وأفق زمني مرن، وخبرة وجهد معتدلين، وتغطية جميع مراحل تقدير المخاطر (تحديد الخطر وتقدير العاقبة وتقدير الاحتمال وتقييم الخطر).
يعمل FMECA-ATT&CK كالتالي (الشكل 1): تُحدد النطاق والمكونات والوظائف ومعايير الأداء؛ وتحدد تكتيكات ATT&CK أنماط الأعطال ذات الصلة؛ وتُقدَّر طرق الكشف وكفاءتها؛ ويُقدَّر أثر العواقب عبر خمسة عناصر — التشغيلي والسلامة والمالي والمعلوماتي والتمهيدي (تمهيد هجمات لاحقة) — مع حساب الأثرين التشغيلي والتمهيدي مسبقًا من مركزية المكونات في مخطط النظام المُنمذج والباقي بحكم الخبراء، مع ترجيح كل نمط عطل بعناصر الأثر المتوقعة (فجمع المعلومات مثلًا لا يقتضي إلا عواقب معلوماتية وتمهيدية). وتحدد تقنيات ATT&CK المطابقة بخصائص الأصول/المنصات آليات الأعطال، ويُقدَّر الاحتمال من قابلية استغلال CVSS (ناقل الهجوم والتعقيد والامتيازات وتفاعل المستخدم)، وتُحدد معايير تصنيف الخطر، وتُشتق التخفيفات من معرفة ATT&CK المشفرة؛ ثم تحسب خوارزمية RPNMI خطر كل آلية وتقترح التخفيفات. أما Bow-Tie [20]، المعروف بحريًا، فيحدد النطاق عبر مقابلات أصحاب المصلحة، ويحدد حدثًا علويًا مع سيناريوهات تهديد وعواقب، ثم يحدد حواجز المنع والتخفيف ويقيّم متانتها — دون تركيز على الاحتمال — مقدمًا أساس المقارنة.
وحالة الاستخدام APS هي نموذج العبّارة milliAmper2 (الشكل 3): قُصر النطاق على شبكة واحدة لضبط الجهد مع الاستعانة بمعلومات الأنظمة المكررة للتقدير الدقيق. وتحمل العبّارة بيانات مستشعرات GNSS وكاميرات فيديو إلى نظام ملاحة وتحكم محلي يحدد المسارات الآمنة ويوجه نظام التموضع الديناميكي (DP) لدفع الدافعات عبر خوادم I/O، متصلة عبر 5G بمركز تحكم عن بُعد (RCC) يستضيف نظام ملاحة عن بُعد قادرًا على التدخل؛ وترد تفاصيل البنية في [21]. وتتألف حالة المحطة الفرعية الرقمية (DS) من Khodabakhsh وآخرين [22] من نظام SCADA مع حاسوب هندسي للمراقبة والتحكم، ومؤرخ بيانات، وأجهزة سفلية — أجهزة إلكترونية ذكية (IED) وواجهة إنسان-آلة (HMI) ووحدات دمج (MU) لمراقبة الجهد والتحكم فيه — متصلة عبر موجه وبوابة.
الأبحاث المقيّمة لنهج تقدير المخاطر شحيحة. فقيّم Tam [23] نوعيًا إطار المؤلف للمخاطر عبر مسح خبراء لسهولة الاستخدام وقابلية التطبيق؛ وطبق Abkowitz وCamp [24] إدارة مخاطر المؤسسات (ERM) على ناقل بحري بخبراء؛ وأشرك Grigoriadis وآخرون [25] أصحاب المصلحة لتقييم عرض أداة أمنية عبر استبيان حول تلبية المتطلبات والجدوى؛ ودرس Johansen وUtne [26] جدوى STPA لتحليل مخاطر السفن ذاتية القيادة، فارزين 35 منهجًا ليجدا سبعة تعزز STPA. وغالبًا ما تُظهر النهج المقترحة قابلية التطبيق على حالات استخدام (مثل [27, 28]) أو تستخدم نهجًا آخر أساسًا للمقارنة (مثل [23, 26]).
وتأتي الإرشادات أيضًا من المعايير: فتناقش إرشادات التقييم في NIST (NIST.SP.800-53Ar5) [29] الفحص والمقابلة والاختبار بصرامة من الأساسية إلى الشاملة، ويقترح ISO 31010:2019 [10] خصائص مقارنة تشمل التطبيق والنطاق وخبرة المختصين والجهد. وتحفز أهداف FMECA-ATT&CK الأصلية [12] — قابلية التطبيق متعددة المجالات IT/OT، وشمول عناصر الخطر، وتقليل الاعتماد على حكم الخبراء عبر المعرفة المنسقة للتقييم المستمر، والقابلية للتكيف المُبرهنة — قياس قابلية التطبيق والشمول والدقة من المعرفة المنسقة والعناصر المؤتمتة والقابلية للتكيف في هذا العمل.
تتبع منهجية التقييم المقترحة (الشكل 4) تحليل الأنظمة في ISO 15288:2015 [13]: الإعداد والتنفيذ والإدارة. يحدد الإعداد النطاق (تقييم منهج تقدير مخاطر عبر حالات أنظمة سيبرانية-فيزيائية في مجالات مختلفة)، والأهداف (قياس قابلية التطبيق والجدوى والشمول والقابلية للتكيف وقابلية التوسع وسهولة الاستخدام والدقة — الجدول 1، مؤسسًا على الأدبيات [23-26, 12])، والمتطلبات: تدابير تقليل التحيز نظر الاعتماد على حكم الخبراء، وحالات استخدام متنوعة متعددة المجالات، ومنهج مرجعي مماثل وظيفيًا ومتوافق فئويًا (Bow-Tie). ويُحافَظ على وصف نظام متماسك لكلتي الحالتين ليقيّم كلا العمليتين بتناظر، وتُشكَّل مجموعات متعددة تطبق كل منها عملية على حالة.
يُدار التنفيذ عبر جلسات عدة في ثلاث مراحل لكل مجموعة (الشكل 5): أولًا، تقييم موجه خطوة بخطوة بمدخلات فردية على مدى زمن كافٍ؛ وثانيًا، دمج يحدد مواضع التعارض ويولد نتائج أولية وفق قواعد مقترحة (الملحق B)؛ وثالثًا، مناقشة جماعية للخلاصة. ثم يُستطلع مشاركو FMECA-ATT&CK عبر استبيان حول تجربتهم. ويُكافَح التحيز بتقنية المجموعة الاسمية ضد أثر العربة [30]، وإعاقة التواصل الجماعي ضد تحيز المعلومات، وأتمتة FMECA-ATT&CK ذاتها بالرسوم البيانية/بيانات ATT&CK، وتقليل إعادة استخدام مدخلات التقييمات السابقة. وتحفظ الإدارة جميع البيانات والمدخلات والمخرجات المعدة للرجوع المستقبلي.
ولقياس الخصائص: تُقيَّم جميعها نوعيًا من آراء الخبراء عبر استبيان (المعايير في الملحق C)؛ وتُقاس قابلية التطبيق إضافيًا بالتطبيق ذاته في مجالين؛ وتُراقَب سهولة الاستخدام كميًا عبر تقدم الخبراء (نسبة القرارات المتخذة إلى المطلوبة)؛ وتُقاس الدقة نوعيًا عبر مقارنة فئوية لنتائج FMECA-ATT&CK مقابل نتائج Bow-Tie التي أنتجها خبراء مختلفون. واستُخدمت جداول Excel وسيطًا للتوجيه وجمع المدخلات، وهيكلت إرشادات DNV [20] أسئلة تحديد نطاق Bow-Tie.
قُصر النطاق على FMECA-ATT&CK بوصفه نهج مخاطر على مستوى التصميم للأنظمة السيبرانية-الفيزيائية على حالتي APS (بحرية) وDS (طاقية)، مستهدفًا الخصائص السبع. وجمع الإجراء بين تقييم نوعي وكمي: جميع الخصائص نوعيًا عبر استبيان لاحق للتنفيذ (الملحق C)، وقابلية التطبيق عبر التطبيق الثنائي المجال، وسهولة الاستخدام كميًا عبر تقدم الخبراء، والدقة نوعيًا عبر مقارنة فئوية مقابل Bow-Tie بخبراء منفصلين. وجرى التقييم كعصف ذهني بتقنية المجموعة الاسمية [30] وفق إرشادات الاستنباط في IEC 31010 [10]، مع ضوابط تحيز (مكافحة العربة، وإعاقة التواصل، وأتمتة ATT&CK/الرسوم، وتقليل إعادة المدخلات السابقة)، وجداول Excel، وقوالب مشتركة في المستودع العام (github.com/ahmed-amro/FMECA-ATT-CK-Evaluation).
شمل أصحاب المصلحة (الجدول 2) الأوساط الأكاديمية والصناعة عبر خمس مجموعات: (1) FMECA-ATT&CK على APS — مرشح دكتوراه بالأمن السيبراني البحري (خبرة بحرية)، وباحث أمن سيبراني (بحري/طاقي/CPS)، ومرشح دكتوراه بحّار (مدقق FMEA لأنظمة DP)؛ (2) Bow-Tie على APS — استشاريّ أمن سيبراني IT/OT؛ (3) FMECA-ATT&CK على DS — مرشح دكتوراه بأمن CPS، وباحث ما بعد دكتوراه بالشبكات الذكية، وباحث أمن سيبراني وخصوصية؛ (4) Bow-Tie على DS — دكتوراه صناعية/مهندس أمن سيبراني ومستشار أول بخبرة تتجاوز 30 عامًا في SCADA/OT الكهربائية. وأعدّ الإعداد بنى الحالتين في عدة مناظير (الأقسام 2.2.1–2.2.2)، واستخرج المدخلات غير الخبيرة من بيانات ATT&CK المحدثة ونمذجة المركزية البيانية، وأعد مدخلات Bow-Tie وفق إرشادات DNV [20]، ودرب المشاركين وأطلعهم عبر اجتماعات وبريد إلكتروني نظر محدودية وقت الخبراء.
اتبع التنفيذ الشكل 5 عبر المجموعات: مهام موجهة خطوة بخطوة، ومدخلات فردية على مدى كافٍ، ودمج مع تحديد التعارض، ومناقشات خلاصة جماعية، ثم استبيانات تجربة لمطبقي FMECA-ATT&CK — باستثناء المجموعة 4 التي استُوعبت كجلسة جماعية ميسرة مع تأكيد فردي لاحق بسبب ضيق الوقت. ووصلت مهام FMECA-ATT&CK كمصنفات Excel بجداول إرشادية ومساحة تعليقات؛ ووصلت مهام Bow-Tie كاجتماعات ببيانات معدة، تطلب مسودات مخططات تبرز أخطر التهديدات والتخفيفات. وغُذيت مدخلات FMECA-ATT&CK في أداة شبه آلية؛ وتحولت مدخلات Bow-Tie إلى مسودات مخططات؛ وقُورنت المخرجات للتحقق من سلامتها، مع جمع تقييمات الاستبيان والتعليقات.
تُحفَظ جميع البيانات والمدخلات والنتائج في المستودع العام للرجوع المستقبلي: قوالب مدخلات FMECA-ATT&CK لكل حالة، وأسئلة نطاق Bow-Tie وإجاباتها، ونصوص FMECA-ATT&CK ومدخلاتها ومخرجاتها، ومخططات Bow-Tie المُولّدة — وتوثق هذه الورقة التقييم المنفذ مع الدروس المستفادة.
جُمعت مخرجات تقدير المخاطر من المجموعات الأربع وصُنفت وقُورنت: فتهديدات Bow-Tie وعواقبه وتخفيفاته تقابل تقنيات FMECA-ATT&CK وتكتيكاته (أهدافه) وتخفيفاته على الترتيب. وتُظهر مقارنة أخطر المخاطر (الجدول 3) أن FMECA-ATT&CK يحدد مخاطر مماثلة لـ Bow-Tie بتقنيات ذرية أدق: فأعلى مخاطر FMECA-ATT&CK تظهر جميعها في Bow-Tie، بينما رُسمت عدة تهديدات من Bow-Tie منخفضة الخطر — ويُفسر ذلك بالتخفيفات القائمة التي يحسبها FMECA-ATT&CK في الحساب بينما أسقطها خبراء Bow-Tie على ما يبدو أو وجدوها غير فعالة. وأمثلة APS: حسابات طلابية صالحة مسروقة (T0859/T1078)، واختراق RDP (T1021.001)، واختراق التصفح العابر (T1189)، وتصيد داخلي موجه (T1534)، وملفات خبيثة (T1204.002)، وبيانات اعتماد افتراضية (T0812)، وخدمات بعيدة (T1021/T1210)، ومنافذ شائعة (T0885)، وتخمين I/O بالقوة (T0806) — معظمها منخفض الخطر عبر التخفيفات؛ واستخدام بيانات شرعية بأدوات أصلية (T1021) عالي الخطر لبعض المكونات. وأمثلة DS: اختراق سلسلة التوريد (T1195) و20 تقنية وصول أولي (TA0001/TA0108) عالية الخطر، بينما رُسمت الفدية (T1486) وحقن البرمجيات (T1204.002) والسيد المارق (T0848) منخفضة. وتقع التهديدات غير العدائية (وصلة 4G/5G مفردة، إساءة الموظفين) خارج نطاق FMECA-ATT&CK العدائي فقط، رغم أن التكرارات القائمة تغذي قابلية الكشف.
وتُظهر مقارنة العواقب (الجدول 4) تغطية عواقب Bow-Tie بتكتيكات FMECA-ATT&CK مع مخاطر عالية متوافقة — مثل فقدان رؤية/سيطرة RCC في APS (15 عاليًا و78 متوسطًا من 394) والقيادة والسيطرة الخبيثة (54 عاليًا)؛ والوصول السري في DS (53 عاليًا) وفقدان الثقة/السمعة (6 عالٍ) — مع رسم بعض عواقب Bow-Tie متوسطة/منخفضة في ظل التخفيفات القائمة. وحدد FMECA-ATT&CK إضافيًا أهدافًا فاتت Bow-Tie: تصعيد الامتيازات والاستخراج والوصول لبيانات الاعتماد وغيرها. وتُظهر مقارنة الضوابط (الجدول 5) أن ضوابط Bow-Tie المقترحة حددها FMECA-ATT&CK أيضًا لمخاطر عالية إلى متوسطة (مثل إدارة الحسابات وتجزئة الشبكات وجدران الحماية وكشف/منع التسلل والنسخ الاحتياطي — الأخير ليس في Bow-Tie)، مع أعداد تمنح أولوية للضوابط؛ وبعض ضوابط Bow-Tie (بوابات البريد والتحقق من MoC وBCP والاعتماد ووضع العزل) غير مدعومة لخروجها عن النطاق أو مستواها الأعلى، ولا يعالج FMECA-ATT&CK إلا ضوابط ذات صلة بالمكونات.
قِيست سهولة الاستخدام بنسبة قرارات الخبراء المتخذة إلى المطلوبة (الجدول 6): إذ ترك الخبراء حقولًا فارغة عندما كانت المهام غير واضحة أو المعرفة ناقصة. وعبر ستة خبراء (ثلاثة APS وثلاثة DS) بقرارات مطلوبة 700/700/700/624/624/624، بلغت نسب الإكمال 96.71% و86.86% و98.86% و97.44% و86.22% و99.84% — بمقياس سهولة إجمالي 94.32%، مؤشر ممتاز على جاهزية العملية. وكان السبب الرئيسي للأحكام غير المتخذة قصور الخلفية، وتراوح زمن التنفيذ 3–4 ساعات لكل خبير، مرتبطًا بالطبيعة الشاملة التي صنفها الأغلبية من شاملة إلى شاملة جدًا.
ووجد استبيان ما بعد التنفيذ (تسعة أسئلة: سبعة حول الخصائص وواحد حول الزمن وواحد للتعليقات؛ الملحق C) النهج مناسبًا وممكنًا وقابلًا للتكيف بدرجة عالية لعدة حالات استخدام رغم حاجته لتكييفات في الأنظمة الحقيقية؛ وقابلية التوسع مناسبة لأنظمة الأنظمة ذات أعداد مكونات معتدلة؛ ووجد معظم الخبراء بعض النتائج معقولة وبعضها لا — وهو متوقع نظر المدخلات المدمجة متعددة الخبراء المتباينة. وأبرزت تعليقات الخبراء (القسم 6.3): غموض معايير تصنيف المكونات وغياب مكونات تقنية/غير تقنية تشمل المشغلين البشريين (الخطوة 1)؛ وصعوبة معايير ملاءمة أنماط الأعطال مع سهولة أنماط السلامة عن الأمنية، مقترحين الأخطاء البشرية (الخطوة 2)؛ وعمومية معايير تقدير الأثر المحتاجة لـ HAZOP أو أشجار الأحداث، وغموض بعض الأنماط، وصعوبة تقييم السلامة والمال والبيئة والسمعة (الخطوة 4)؛ إضافة إلى الحاجة لمزيد تدريب، وصعوبة الخبراء التشغيليين مع أعطال المكونات، ونقص تمثيل العنصر البشري، وخلفيات تشغيلية وتقنية متنوعة.
تُخضع هذه الدراسة التجريبية FMECA-ATT&CK لتطبيق مفصل وتعليقات خبراء ناقدة. ووجد ممارسو Bow-Tie التقييم على مستوى المكونات مرهقًا — فلم يتسع الوقت إلا لتقييم عالي المستوى — بينما لم يقضِ خبراء FMECA-ATT&CK وقتًا في تحديد التهديدات أو تقدير الاحتمال أو اشتقاق الضوابط: فجاءت التهديدات من قوائم تقنيات ATT&CK المطابقة بخصائص المكونات، والاحتمال من مقاييس CVSS مُقدَّرة مسبقًا بإرشادات [12]، والتخفيفات بالاستعلام من مستودع ATT&CK، والأثران التشغيلي والتمهيدي محسوبين مسبقًا من مخطط النظام المُنمذج — بمتوسط 3 ساعات لكل خبير لمخرجات شاملة، مبرزًا فائدة تقليل الاعتماد على حكم الخبراء. ومع ذلك، تظل سياقات الخبراء بلا نظير: فاستضافة RCC المتوقعة في منشأة جامعية (أُبلغت في الجلسات وغير مشفرة في النموذج) تنتج حسابات صالحة قابلة للسرقة من الطلاب لا ينقلها FMECA-ATT&CK، واقترح خبراء Bow-Tie في DS اتجاهات استراتيجية مثل الثقة الصفرية والتصميم المرن التي لا يستطيع FMECA-ATT&CK على مستوى المكونات تقديمها.
وتُقر قيود التقييم: فقد تحمل مدخلات المجموعة 4 تحيز العربة من التنفيذ الجماعي الميسر (خُفف بالتأكيد الفردي)؛ واحتمالات CVSS تقديرات مسبقة مستقلة عن النظام عرضة للتحيز إذ ضاق وقت الخبراء عن تقديراتهم؛ وقابلية التطبيق خارج البحرية والطاقة غير مُدعاة بانتظار حالات متنوعة إضافية. واتجاهات العمل المستقبلي: تغطية تهديدات غير عدائية مثل الأخطاء البشرية؛ وإضافة إرشادات وطرق (مثل HAZOP وأشجار الأحداث) لتقدير أثر السلامة والمال؛ واستحداث تصنيف أصول خاص بالمجال مع تهديدات وأنماط أعطال وضوابط مكيفة؛ ومعالجة مستويات NIST الأعلى (المستوى 3 للمكونات حاليًا [31]) بضوابط متعددة المستويات مثل خطط استمرارية الأعمال؛ وتطبيق حالات ومجالات إضافية؛ ودراسة الكفاءة في وحدات قرار حقيقية، مثل تحليل مغلف البيانات (DEA) كما اقترح Wang وآخرون [32] لقياس خفض التكلفة من تقليل حكم الخبراء.
وخلاصة التأمل تؤكد أهداف FMECA-ATT&CK الأصلية مع ترسيم نطاق عمله: قوي في التقييم المنهجي الشامل المؤتمت على مستوى المكونات، ومحدود بترميز السياق ونطاق أنماط الأعطال العدائية فقط والأنظمة معتدلة الحجم — مع رسم نقد الخبراء تحسينات ملموسة.
يمتد الاهتمام بالأنظمة السيبرانية-الفيزيائية عبر الطاقة والتصنيع والقطاع البحري، مع مركزية الأمن السيبراني للأوساط الأكاديمية والصناعة، لكن التقييم المخصص لنهج تقدير المخاطر المقترحة مفقود. وتسهم هذه الورقة بنهج تقييم متوافق مع المعايير بتنفيذ مرحلي يقيس قابلية التطبيق والجدوى وسهولة الاستخدام والقابلية للتكيف وقابلية التوسع والدقة والشمول مع كبح تحيز حكم الخبراء. وقُيّم FMECA-ATT&CK — FMECA مُثرى بدلالات ATT&CK ومعرفته المشفرة لخفض الاعتماد على حكم الخبراء — تجريبيًا على حالتي أنظمة سيبرانية-فيزيائية في مجالين بمجموعات خبراء متنوعة، مع Bow-Tie بمجموعات منفصلة غير متواصلة للمقارنة.
حدد FMECA-ATT&CK مخاطر وعواقب وضوابط مماثلة لـ Bow-Tie بأوصاف أدق، مما يدل على الدقة؛ وصُنف الشمول والقابلية للتكيف والجدوى وسهولة الاستخدام ممتازة عبر الاستبيان؛ وناسبت قابلية التوسع الأنظمة معتدلة المكونات؛ وأظهر التطبيق الثنائي المجال قابلية التطبيق بنتائج سليمة منطقيًا. ومن ثم فـ FMECA-ATT&CK خيار صالح لتقدير المخاطر السيبرانية للأنظمة السيبرانية-الفيزيائية على مستوى التصميم والمكونات. والتحسينات المحددة — تصنيف الأصول وملاءمة أنماط الأعطال وتقدير الأثر والعنصر البشري الغائب ونطاق الضوابط — موثقة كاتجاهات مستقبلية.
In various domains such as energy, manufacturing, and maritime, cyber–physical systems (CPSs) have seen increased interest. Both academia and industry have focused on the cybersecurity aspects of such systems. The assessment of cyber risks in a CPS is a popular research area with many existing approaches that aim to suggest relevant methods and practices. However, few works have addressed the extensive and objective evaluation of the proposed approaches. In this paper, a standard-aligned evaluation methodology is presented and empirically conducted to evaluate a newly proposed cyber risk assessment approach for CPSs. The approach, called FMECA-ATT&CK, is based on failure mode, effects and criticality analysis (FMECA) risk assessment process and enriched with the semantics and encoded knowledge in the Adversarial Tactics, Techniques, and Common Knowledge framework (ATT&CK). Several experts were involved in conducting two risk assessment processes, FMECA-ATT&CK and Bow-Tie, against two use cases in different application domains, particularly an autonomous passenger ship (APS) as a maritime-use case and a digital substation as an energy-use case. This allows for the evaluation of the approach based on a group of characteristics, namely, applicability, feasibility, accuracy, comprehensiveness, adaptability, scalability, and usability. The results highlight the positive utility of FMECA-ATT&CK in model-based, design-level, and component-level cyber risk assessment of CPSs with several identified directions for improvements. Moreover, the standard-aligned evaluation method and the evaluation characteristics have been demonstrated as enablers for the thorough evaluation of cyber risk assessment methods.
Interest in cyber–physical systems has grown across maritime and energy domains, and the maritime industry is undergoing a major transformation in operations and technology [1]. This work is part of the Autoferry project [2] aiming at a ferry transporting passengers autonomously across the Trondheim canal; in previous work the ferry was classified as an autonomous passenger ship (APS) [3]. Cyberattacks against the maritime domain are increasing in number and severity [4], targeting ships, ports, and shipping companies: the denial-of-service attack against COSCO [5], theft of confidential designs from naval shipbuilder Austal [6], and ransomware against Maersk [7] are notable examples. Attacks against ships are arguably of relatively low complexity [8], and incidents involving GPS and communication technologies demonstrate feasibility and potential impact [9].
The APS integrates wide-ranging information and communication technology (ICT) and industrial control systems (ICS), making it a CPS whose security risks may directly or indirectly endanger passenger safety and the operational environment — a hijacked remote or autonomous control capability could steer the ship into collision. Risk management, with risk assessment at its core as discussed in ISO 31010 [10] and ISO 27005 [11], is therefore foreseen for the APS architecture, with extra attention to the safety–security relationship in CPS risk management. Moreover, surveyed CPS risk assessment approaches rely heavily on expert judgment, increasing effort for continuous assessment and bias-prone results [12].
To address this, the authors previously proposed FMECA-ATT&CK [12], combining the FMECA risk assessment process with the semantics and encoded knowledge of the ATT&CK framework to reduce expert-judgment dependence in several assessment steps. In this article FMECA-ATT&CK is further evaluated by engaging experts to run it and the Bow-Tie approach against two use cases — the APS (maritime) and a digital substation (energy) — measuring applicability, feasibility, accuracy, comprehensiveness, adaptability, scalability, and usability. Contributions are: an evaluation of the open-source FMECA-ATT&CK process supporting its development as a semi-automated CPS risk tool; key evaluation characteristics reusable as a comparison basis; and a standard-aligned, bias-reducing evaluation methodology. Section 2 gives background, Section 3 discusses related work, Section 4 presents the evaluation methodology, Section 5 details the FMECA-ATT&CK evaluation, Section 6 presents results, Section 7 reflects on limitations and future work, and Section 8 concludes.
The evaluation is approached as a system analysis process following the ISO 15288:2015 system development standard [13], with expert elicitation techniques from IEC 31010:2019 [10] and comparison against the commonly used Bow-Tie method, applied to a maritime use case (APS) and an energy use case (digital substation). Relevant standards are IEC 31010:2019 [10], ISO 15288:2015 [13], and IEC 60812 [14]: FMECA-ATT&CK was developed on the IEC 60812 FMECA standard [14], IEC 31010 guided threat-identification techniques such as threat taxonomies and expert-opinion elicitation, and ISO 15288 informed the evaluation methodology design.
MITRE ATT&CK [15] is witnessing widespread adoption in academia and industry as encoded knowledge of adversary tactics, techniques, and procedures (TTP), covering enterprise IT, ICS/OT, and mobile domains — unlike higher-level models such as STRIDE [16] and the cyber Kill Chain [17], it offers comprehensive low-level abstraction, and its terminology appears in threat reports [18] and testing frameworks such as CALDERA [19]. Yet ATT&CK is not itself a risk assessment method, so the authors selected FMECA [14] per IEC 31010 [10] criteria — component/equipment/process scope, flexible time horizon, moderate expertise and effort, and coverage of all risk-assessment stages (identifying risk, assessing consequence, estimating likelihood, evaluating risk).
FMECA-ATT&CK works as follows (Figure 1): scope components, functions, and performance standards are defined; ATT&CK tactics identify relevant failure modes; detection methods and efficiency are estimated; consequence impact is estimated across five elements — operational, safety, financial, information, and staging (staging further attacks) — with operational and staging impacts pre-calculated from component centrality in a modeled system graph and the rest from expert judgment, each failure mode weighted by expected impact elements (e.g., collection implies only information and staging consequences). ATT&CK techniques matched by asset/platform properties identify failure mechanisms, likelihood is estimated from CVSS exploitability (attack vector, complexity, privileges, user interaction), risk rating criteria are defined, and mitigations derive from encoded ATT&CK knowledge; an RPNMI algorithm then computes risk per mechanism and suggests mitigations. Bow-Tie [20], well-known in maritime, instead defines scope via stakeholder interviews, identifies a top event with threat scenarios and consequences, then identifies prevention and mitigation barriers and assesses their robustness — without likelihood focus — providing the comparison basis.
The APS use case is the milliAmper2 prototype ferry (Figure 3): scope was limited to one network to bound effort while redundant-system information supported estimation. The ferry carries GNSS and video-camera sensor data to a local navigation and control system that identifies safe routes and instructs the dynamic positioning (DP) system to drive thrusters via I/O servers, connected over 5G to a remote control centre (RCC) hosting a remote navigation system able to intervene; further architecture details appear in [21]. The digital substation (DS) use case from Khodabakhsh et al. [22] comprises a SCADA system with an engineering PC for monitoring and control, a data historian, and lower devices — intelligent electronic devices (IED), human–machine interface (HMI), and merging units (MU) for voltage monitoring and control — connected via router and gateway.
Research evaluating risk assessment approaches is sparse. Tam [23] qualitatively evaluated the author risk framework via expert survey for usability and applicability; Abkowitz and Camp [24] applied enterprise risk management (ERM) to a marine transportation carrier with experts; Grigoriadis et al. [25] engaged stakeholders to evaluate a security tool demo via questionnaire on requirements satisfaction and feasibility; and Johansen and Utne [26] examined STPA feasibility for autonomous-ship risk analysis, screening 35 methods to find seven enhancing STPA. Proposing approaches often demonstrate applicability on use cases (e.g., [27, 28]) or use another approach as comparison ground (e.g., [23, 26]).
Guidance also comes from standards: NIST assessment guidelines (NIST.SP.800-53Ar5) [29] discuss examine, interview, and test at basic-to-comprehensive rigor, and ISO 31010:2019 [10] suggests comparison characteristics including application, scope, specialist expertise, and effort. The original FMECA-ATT&CK objectives [12] — multi-domain IT/OT applicability, risk-element comprehensiveness, reduced expert-judgment dependence via curated knowledge for continuous assessment, and demonstrated adaptability — motivate measuring applicability, comprehensiveness, accuracy from curated knowledge and automated elements, and adaptability in this work.
The proposed evaluation methodology (Figure 4) follows ISO 15288:2015 [13] system analysis: preparing, executing, and managing the analysis. Preparation specifies scope (evaluating a risk assessment method across CPS use cases in different domains), objectives (measuring applicability, feasibility, comprehensiveness, adaptability, scalability, usability, accuracy — Table 1, grounded in literature [23-26, 12]), and requirements: bias-reduction measures given expert-judgment reliance, diverse multi-domain use cases, and a functionally similar, categorically aligned reference method (Bow-Tie). A coherent system description of both use cases is maintained so both processes assess symmetrically, and multiple groups each apply one process to one use case.
Execution runs over several sessions in three stages per group (Figure 5): first, step-by-step guided assessment with individual input over sufficient time; second, consolidation identifying conflict areas and generating initial results per proposed rules (Appendix B); third, group discussion to conclude. FMECA-ATT&CK participants are then surveyed via questionnaire on their experience. Bias is countered with the nominal group technique against bandwagon effects [30], hindered group communication against information bias, FMECA-ATT&CK own graph/ATT&CK-data automation, and minimal reuse of prior assessment inputs. Management maintains all prepared data, inputs, and outputs for future reference.
To measure characteristics: all are qualitatively evaluated from expert feedback via questionnaire (criteria in Appendix C); applicability additionally uses the two-domain application itself; usability is quantitatively monitored through expert progression (ratio of decisions made to decisions asked); and accuracy is qualitatively measured through categorical comparison of FMECA-ATT&CK results against Bow-Tie results produced by different experts. Excel sheets served as the guiding and input-collection medium, and DNV class guidelines [20] structured the Bow-Tie scoping questions.
Scope was constrained to FMECA-ATT&CK as a design-level CPS risk approach over the APS (maritime) and DS (energy) use cases, targeting the seven characteristics. The procedure combined qualitative and quantitative evaluation: all characteristics qualitatively via post-execution questionnaire (Appendix C), applicability via dual-domain application, usability quantitatively via expert progression, and accuracy qualitatively via categorical comparison against Bow-Tie by separate experts. Assessment ran as brainstorming with the nominal group technique [30] under IEC 31010 elicitation guidance [10], with bias controls (bandwagon countering, hindered communication, ATT&CK/graph automation, minimal prior-input reuse), Excel worksheets, and templates shared in the public repository (github.com/ahmed-amro/FMECA-ATT-CK-Evaluation).
Stakeholders (Table 2) spanned academia and industry across five groups: (1) FMECA-ATT&CK on APS — maritime-cybersecurity PhD candidate (offshore experience), cybersecurity researcher (maritime/energy/CPS), seafarer PhD candidate (FMEA auditor of DP systems); (2) Bow-Tie on APS — two IT/OT cybersecurity consultants; (3) FMECA-ATT&CK on DS — CPS-cybersecurity PhD candidate, smart-grid postdoc researcher, cybersecurity/privacy researcher; (4) Bow-Tie on DS — industrial PhD/cybersecurity engineer and senior adviser with 30+ years in SCADA/OT electricity. Preparation modeled use-case architectures in several views (Sections 2.2.1–2.2.2), extracted non-expert inputs from continuously updated ATT&CK data and centrality graph modeling, prepared Bow-Tie inputs per DNV guidelines [20], and briefed and trained participants via meetings and email given limited expert time.
Execution followed Figure 5 across groups: guided step-by-step tasks, individual input over sufficient time, consolidation with conflict identification, group conclusion discussions, then experience questionnaires for FMECA-ATT&CK appliers — except group 4, accommodated as a facilitated group session with subsequent individual confirmation due to time constraints. FMECA-ATT&CK tasks arrived as Excel workbooks with guiding tables and comment space; Bow-Tie tasks arrived as meetings with prepared data, requesting draft diagrams highlighting top threats and mitigations. FMECA-ATT&CK inputs fed a semi-automated tool; Bow-Tie inputs became draft diagrams; both outputs were compared for soundness, with questionnaire ratings and comments collected.
All data, inputs, and results are maintained in the public repository for future reference: FMECA-ATT&CK input templates per use case, Bow-Tie scoping questions and answers, FMECA-ATT&CK scripts/inputs/outputs, and generated Bow-Tie diagrams — this paper reporting the executed evaluation with lessons learned.
Risk assessment outputs from the four groups were categorized and compared: Bow-Tie threats, consequences, and mitigations map to FMECA-ATT&CK techniques, tactics (objectives), and mitigations respectively. Top-risk comparison (Table 3) shows FMECA-ATT&CK identifies risks similar to Bow-Tie with finer-grained atomic techniques: the highest FMECA-ATT&CK risks all appear in Bow-Tie, while several Bow-Tie threats rendered low risk — explained by existing mitigations that FMECA-ATT&CK accounts for in calculation but Bow-Tie experts seemingly dropped or found inefficient. APS examples: stolen student valid accounts (T0859/T1078), RDP compromise (T1021.001), drive-by compromise (T1189), internal spear-phishing (T1534), malicious files (T1204.002), default credentials (T0812), remote services (T1021/T1210), commonly used ports (T0885), I/O brute force (T0806) — mostly low risk via mitigations; legitimate-credential native-tool use (T1021) high risk for some components. DS examples: supply-chain compromise (T1195) and 20 initial-access techniques (TA0001/TA0108) high risk, while ransomware (T1486), malware injection (T1204.002), and rogue master (T0848) rendered low. Non-adversarial threats (single 4G/5G link, employee wrongdoing) fall outside FMECA-ATT&CK adversarial-only scope, though existing redundancies feed detectability.
Consequence comparison (Table 4) shows Bow-Tie consequences covered by FMECA-ATT&CK tactics with aligned high risks — e.g., APS loss of RCC view/control (15 high, 78 medium of 394) and malicious command-and-control (54 high); DS covert access (53 high) and trust/reputation loss (6 high) — with some Bow-Tie consequences medium/low under existing mitigations. FMECA-ATT&CK additionally identified objectives Bow-Tie missed: privilege escalation, exfiltration, credential access, and others. Controls comparison (Table 5) shows Bow-Tie-proposed controls largely also identified by FMECA-ATT&CK for high-to-medium risks (e.g., account management, network segmentation, firewalls, intrusion detection/prevention, data backup — the latter not in Bow-Tie), with counts prioritizing controls; some Bow-Tie controls (email gateways, MoC validation, BCP, certification, isolation mode) are unsupported as out-of-scope or higher-tier, and FMECA-ATT&CK only addresses component-relevant controls.
Usability was measured by the ratio of expert decisions made to decisions asked (Table 6): experts left fields empty when tasks were unclear or knowledge lacking. Across six experts (three APS, three DS) with 700/700/700/624/624/624 required decisions, completion rates were 96.71%, 86.86%, 98.86%, 97.44%, 86.22%, and 99.84% — an overall usability metric of 94.32%, an excellent indication of process readiness. The main reason for unmade judgments was insufficient background, and execution time ranged 3–4 hours per expert, linked to the comprehensive nature the majority rated from comprehensive to very comprehensive.
The post-execution questionnaire (nine questions: seven on characteristics, one on time, one for comments; Appendix C) found the approach suitable, feasible, and highly adaptable for several use cases though requiring adaptations for real systems; scalability suitable for systems-of-systems with moderate component counts; and most experts finding some results sensible and others not — expected given consolidated multi-expert inputs with divergent judgments. Expert comments (Section 6.3) flagged: unclear component-classification criteria and missing technical/non-technical components including human operators (Step 1); difficult failure-mode relevance criteria with safety modes easier than security ones, proposing human errors (Step 2); generic impact-estimation criteria needing HAZOP or event-tree support, unclear failure modes, and challenging safety/financial/environmental/reputation scoring (Step 4); plus needs for more training, operational-expert difficulty with component failures, under-represented humans, and diverse operational-plus-technical backgrounds.
This empirical study subjected FMECA-ATT&CK to detailed application and critical expert commentary. Bow-Tie practitioners found component-level assessment demanding — only high-level assessment fit available time — whereas FMECA-ATT&CK experts spent no time identifying threats, estimating likelihood, or deriving controls: threats came from ATT&CK technique lists matched by component properties, likelihood from pre-estimated CVSS-based metrics with heuristics [12], mitigations by querying the ATT&CK repository, and operational/staging impacts pre-calculated from the modeled system graph — averaging 3 hours per expert for comprehensive output, highlighting the utility of reduced expert-judgment dependence. Still, expert contextualization is unmatched: the RCC expected at a university facility (communicated in sessions, unencoded in the model) yields student-stealable valid accounts uncommunicated by FMECA-ATT&CK, and Bow-Tie DS experts suggested strategic directions like zero trust and resilient design that component-level FMECA-ATT&CK cannot make.
Evaluation limitations are acknowledged: group 4 inputs may carry bandwagon bias from facilitated group execution (mitigated via individual confirmation); CVSS-based likelihoods are system-independent pre-estimates subject to bias since experts lacked time for own estimates; and applicability beyond maritime and energy is unclaimed pending additional diverse use cases. Future work directions: cover non-adversarial threats such as human errors; add guidelines and methods (e.g., HAZOP, event trees) for safety and financial impact estimation; introduce domain-specific asset categorization with adapted threats, failure modes, and controls; address higher NIST tiers (tier 3 component-level today [31]) with multi-tier controls like business continuity plans; apply additional use cases and domains; and investigate efficiency in real decision-making units, e.g., via data envelopment analysis (DEA) as Wang et al. [32] proposed to quantify cost reduction from reduced expert judgment.
In sum, reflection confirms FMECA-ATT&CK original objectives while delineating its operating envelope: strong at systematic, comprehensive, automated component-level assessment, bounded by context encoding, scope of adversarial-only failure modes, and moderate-scale systems — with expert critique charting concrete improvements.
Interest in CPSs spans energy, manufacturing, and maritime, with cybersecurity central to academia and industry, yet dedicated evaluation of proposed risk assessment approaches is lacking. This paper contributes a standard-aligned evaluation approach with staged execution measuring applicability, feasibility, usability, adaptability, scalability, accuracy, and comprehensiveness while curbing expert-judgment bias. FMECA-ATT&CK — FMECA enriched with ATT&CK semantics and encoded knowledge to cut expert-judgment dependence — was empirically evaluated on two CPS use cases in two domains by diverse expert groups, with Bow-Tie by separate uncommunicating groups as comparison.
FMECA-ATT&CK identified similar risks, consequences, and controls as Bow-Tie with more granular descriptions, evidencing accuracy; comprehensiveness, adaptability, feasibility, and usability rated excellent via questionnaire; scalability fit moderate-component systems; and dual-domain application demonstrated applicability with logically sound results. Hence FMECA-ATT&CK is a viable option for design- and component-level CPS cyber risk assessment. Identified improvements — asset categorization, failure-mode relevance, impact estimation, the missing human element, and control scope — are documented as future directions.