Magnetic Resonance Imaging and Ultrasound-based Breast Tumor Classification using Soft Voting Ensemble Deep Learning Method

Abstract

In recent years, breast cancer (BC) has been considered the most common cause of death in women worldwide. Commonly, BC occurs in breast cells or fatty tissues within the breast, and these tissues tend to grow faster and lead to death. The survival of patients with BC can be enhanced with early and accurate diagnosis. Therefore, this research proposes an ensemble learning approach that uses Recurrent Neural Networks (RNN), Convolutional Neural Networks (CNN), Long Short-Term Memory (LSTM), and a soft-voting mechanism to make early predictions and diagnoses of BC. The input sample images are initially passed through the convolutional layer to extract features from each modality separately. The Multi-Modality Adaptive Feature Fusion (MMAFF) technique combines generic features across modalities. Compared with existing techniques such as Deep Convolutional Neural Networks (DCNN) and Resolution Adaptive Network (RANet), the proposed ensemble learning technique achieves 89.6% accuracy for clinical indicator prediction and 99.25% accuracy for final tumor classification on the MRI-US dataset.

ABSTRAK: Dalam beberapa tahun kebelakangan ini, kanser payudara (Breast Cancer, BC) telah dikenal pasti sebagai antara punca utama kematian dalam kalangan wanita di seluruh dunia. Secara umum, BC berlaku pada sel-sel payudara atau tisu lemak dalam payudara, di mana sel-sel ini cenderung membiak dengan cepat dan berpotensi membawa kepada kematian. Kadar kelangsungan hidup pesakit BC dapat ditingkatkan melalui diagnosis awal yang tepat dan boleh dipercayai. Sehubungan itu, kajian ini mencadangkan satu pendekatan pembelajaran ansambel yang menggabungkan Rangkaian Neural Berulang (Recurrent Neural Networks, RNN), Rangkaian Neural Konvolusi (Convolutional Neural Networks, CNN), Memori Jangka Pendek Panjang (Long Short-Term Memory, LSTM), serta mekanisme pengundian lembut (soft voting) bagi tujuan ramalan awal dan diagnosis BC. Imej sampel input pada peringkat awal diproses melalui lapisan konvolusi untuk mengekstrak ciri daripada setiap modaliti secara berasingan. Seterusnya, teknik Multi-Modality Adaptive Feature Fusion (MMAFF) digunakan untuk menggabungkan ciri-ciri umum daripada setiap modaliti tersebut. Berbanding dengan teknik sedia ada seperti Rangkaian Neural Konvolusi Mendalam (Deep Convolutional Neural Networks, DCNN) dan Resolution Adaptive Network (RANet), pendekatan pembelajaran ansambel yang dicadangkan menunjukkan prestasi yang lebih baik dengan mencapai ketepatan sebanyak 89.6% bagi ramalan penunjuk klinikal dan 99.25% bagi pengelasan akhir tumor menggunakan set data MRI-US.