Generative AI Models: A Comparison of Application Analysis on Web AI-Based Decision Support Systems for Satellite Anomaly Identification

Abstract

The rapid innovation of Generative Artificial Intelligence (GenAI) has transformed Decision Support Systems (DSS) across various domains, including satellite operations. This paper presents a comparative analysis of four free Generative AI models, including Gemma 3 by Google, Llama 4 Maverick by Meta AI, Nemotron Nano 2 by NVIDIA, and Devstral Small by Mistral, in the context of integrating them into a Web AI-based Decision Support System (DSS) for satellite anomaly identification. Using a dataset of over 4,455 satellite anomaly records covering 1957 to 2024 provided by Seradata, with scalability and adaptability to diverse mission profiles. We evaluate these models by generating anomaly analyses for clarity, accuracy, completeness, and relevance across the Incident Overview, Reliability Trend, Insight, and Stakeholder Recommendation categories, using a 5-point Likert scale and Fleiss' Kappa for internal consistency. The comprehensive evaluation of GenAI models for Web AI-based DSS delineates a clear performance stratification, with scores of 4.44 and 4.39 for Nemotron Nano 2 and Llama 4 Maverick, respectively, confirming their positions as the leading systems based on overall Likert scores. However, the analysis further revealed a critical trade-off between absolute quality and internal consistency (Fleiss' Kappa). The superior models, Nemotron Nano 2 and Llama 4 Maverick, achieved high Likert scores by displaying pronounced performance peaks but suffered the lowest internal predictability, with ? = 0.18 on Llama 4 Maverick, indicating a highly volatile output structure in which strong clarity often masked critical incompleteness. Conversely, Devstrall Small, despite its suboptimal mean score of 3.44, demonstrated the highest internal consistency, with ? = 0.66. This robust predictability, even at a lower level, underscores a significant implication for DSS development. The model selection must prioritize the required balance between absolute performance ceiling and the predictability of the output structure. The findings highlight the potential of GenAI implementation in DSS to enhance the reliability of satellite operations, while exploring future directions for research and development in this area. This research contributes to the development of more resilient and intelligent satellite anomaly identification systems, with broader implications for space mission safety, resource optimization, cost reduction, and the future of AI-driven aerospace technologies.

ABSTRAK: Inovasi pesat Kecerdasan Buatan Generatif (GenAI) telah mengubah Sistem Sokongan Keputusan (DSS) merentasi pelbagai domain, termasuk operasi satelit. Kajian ini membentangkan analisis perbandingan empat model AI Generatif percuma termasuk: Gemma 3 oleh Google, Llama 4 Maverick oleh Meta AI, Nemotron Nano 2 oleh NVIDIA dan Devstral Small oleh Mistral, dalam menyepadu Sistem Sokongan Keputusan (DSS) berasaskan web AI bagi mengenal pasti anomali satelit. Mengguna pakai lebih 4,455 rekod set data anomali satelit meliputi tahun 1957 hingga 2024 oleh Seradata, set data ini mempunyai ciri kebolehskalaan dan kebolehsuaian pada profil misi yang pelbagai. Kajian ini menilai kesemua model melalui penjanaan analisis anomali melalui kejelasan, ketepatan, kelengkapan dan kerelevanan merentasi kategori Gambaran Keseluruhan Insiden, Trend Kebolehpercayaan bagi, Wawasan dan Cadangan Pihak Berkepentingan, mengguna skala Likert 5-mata dan Kappa Fleiss kekonsistensi dalaman. Penilaian komprehensif model GenAI DSS berasaskan web AI menggariskan stratifikasi prestasi yang jelas pada skor 4.44 dan 4.39 untuk Nemotron Nano 2 and Llama 4 Maverick masing-masing, mengesahkan keupayaan sebagai sistem utama berdasarkan skor Likert keseluruhan. Walau bagaimanapun, analisis selanjutnya mendedahkan pertukaran kritikal antara kualiti mutlak dan kekonsistensi dalaman (Fleiss' Kappa). Model terbaik, Nemotron Nano 2 and Maverick Llama 4, mencapai skor Likert tertinggi dengan puncak prestasi yang tinggi tetapi keboleh ramalan dalaman terendah iaitu ?»0.18 pada Maverick Llama 4, menandakan dapatan struktur yang sangat tidak menentu di mana kejelasan yang kuat sering menutupi ketidaklengkapan kritikal. Sebaliknya, Mistral Devstrall Small menunjukkan kekonsistensi dalaman tertinggi ?»0.66 walaupun skor min suboptimumnya 3.44. Keboleh ramalan yang mantap ini, walaupun pada tahap lebih rendah, menggariskan implikasi ketara bagi pembangunan DSS. Pemilihan model mesti mengutamakan keseimbangan yang diperlukan antara siling prestasi mutlak dan keboleh ramalan dapatan struktur. Penemuan ini mengetengah potensi pelaksanaan GenAI DSS dalam meningkatkan kebolehpercayaan operasi satelit sambil meneroka hala tuju masa depan bagi tujuan penyelidikan dan pembangunan. Penyelidikan ini menyumbang kepada pembangunan sistem mengenal pasti anomali satelit berdaya tahan dan pintar, dengan implikasi yang lebih luas bagi keselamatan misi angkasa lepas, mengoptimum sumber, mengurangkan kos operasi dan masa depan teknologi aero angkasa yang dipacu AI.