Abstract

Klasifikasi tweet terkait bencana merupakan permasalahan penting dalam pemrosesan bahasa alami karena teks media sosial cenderung pendek, tidak baku, dan sering ambigu. Namun, pemanfaatan metadata dan optimasi ambang keputusan secara terpadu pada model transformer masih terbatas. Penelitian ini mengembangkan model klasifikasi biner dengan mengintegrasikan representasi kontekstual DeBERTa-v3, kata kunci, lokasi, dan metadata numerik tweet. Dataset terdiri atas 7.613 data latih dan 3.263 data uji. Teks dibentuk menjadi masukan terstruktur menggunakan penanda kata kunci, lokasi, dan isi tweet. Representasi token dipadatkan melalui masked mean–max pooling, kemudian digabungkan dengan fitur numerik. Model dilatih menggunakan stratified cross-validation, multi-sample dropout, dan optimasi threshold berdasarkan probabilitas out-of-fold. Kebaruan penelitian terletak pada demonstrasi empiris kontribusi metadata fusion, masked mean–max pooling, dan optimasi threshold berbasis out-of-fold dalam melengkapi representasi kontekstual DeBERTa-v3, yang diperkuat melalui evaluasi ablation terkontrol. Pengujian terhadap 15 konfigurasi menunjukkan bahwa DeBERTa-v3 metadata fusion dengan 3-fold out-of-fold ensemble menghasilkan skor F1 tertinggi sebesar 0,84063, melampaui DeBERTa-v3 metadata fusion dengan holdout sebesar 0,83971, DeBERTa-v3 mean–max sebesar 0,83695, DistilBERT sebesar 0,83450, dan GloVe–SVM sebesar 0,81581. Hasil ini menunjukkan bahwa integrasi metadata dan penentuan threshold berbasis out-of-fold efektif meningkatkan kinerja klasifikasi. Penelitian ini berpotensi mendukung penyaringan informasi bencana dari media sosial secara lebih akurat.