A Detector for Textual-Visual Fake News Using Text Summarization and Contrastive Language-Image Pretraining Embedding Model

Abstract

Recently, social media have become an influential means of spreading news in multiple forms, including text, images, audio, and video. With the development taking place today and the heavy reliance of society members on social media to share content online, social media platforms have become a means of spreading unfavorable stories. This study proposes a model to identify false information in various media and determine its authenticity. After pre-processing both textual and visual data independently, the proposed CLIPCrossAttGFN model is used to initialize the fusion feature vector passed to the fully connected layer as part of the classification step. The CLIPCrossAttGFN model starts by passing the image to the Contrastive Language-Image Pretraining (CLIP) visual encoder as a feature extraction method. Also, text, after being summarized to 512 words based on the Bidirectional Encoder Representations from Transformers (BERT), which can identify meaningful words based on the semantic relationship of the text as a whole, is passed to the CLIP encoder before sending the initial extracted features to several layers of CNN, LSTM, and a cross-attention mechanism as a final feature extraction technique. Finally, a multimodal feature is merged using a gate fusion network. The results reveal that the proposed model has better accuracy, ensuring reliable detection compared to other available approaches.

ABSTRAK: Baru-baru ini, media sosial telah menjadi saluran berpengaruh dalam penyebaran berita dalam pelbagai bentuk, termasuk teks, imej, audio dan video. Dengan perkembangan pesat berlaku hari ini, dan  kebergantungan tinggi masyarakat pada media sosial bagi berkongsi konten secara atas talian, platform media sosial telah menjadi medium penyebaran maklumat yang tidak sahih. Kajian ini mencadangkan model bagi mengenal pasti maklumat palsu dalam beberapa media dan menentukan sama ada ianya benar atau palsu. Selepas kedua-dua data teks dan visual melalui proses pra-memprosesan secara berasingan, model CLIPCrossAttGFN yang dicadangkan diguna pakai bagi memulakan vektor ciri gabungan yang dihantar ke lapisan bersambung sepenuhnya sebagai langkah pengelasan. Model CLIPCrossAttGFN bermula dengan menghantar imej kepada pengekod visual Contrastive Language-Image Pretraining (CLIP) sebagai kaedah pengekstrakan ciri. Teks pula diringkaskan kepada 512 perkataan berdasarkan Perwakilan Pengekod Dwi Arah daripada Transformers (BERT), yang dapat mengenal pasti perkataan bermakna berdasarkan hubungan semantik teks secara keseluruhan, dihantar kepada pengekod CLIP sebelum ciri awal diekstrak ke beberapa lapisan CNN, LSTM dan mekanisme silang perhatian sebagai teknik pengekstrakan ciri akhir. Akhirnya, ciri multimodal digabungkan menggunakan rangkaian gabungan berpintu. Dapatan kajian mendapati bahawa model yang dicadangkan mempunyai ketepatan tertinggi, menjamin pengesanan yang boleh dipercayai berbanding pendekatan sedia ada.