Uji Kinerja Model Generative AI Menggunakan Dataset Informasi Kampus Melalui Sistem Otomatisai n8n

Abstract

Perkembangan Generative Artificial Intelligence (AI) mendorong pemanfaatan Large Language Model (LLM) pada sistem chatbot untuk meningkatkan kualitas layanan informasi digital. Namun, model Generative AI masih memiliki keterbatasan berupa hallucination, ketidakmampuan menghasilkan jawaban berbasis data spesifik secara konsisten, serta dipengaruhi oleh performa perangkat keras yang digunakan. Penelitian ini bertujuan untuk menganalisis performa beberapa model Generative AI pada chatbot informasi kampus berbasis Retrieval-Augmented Generation (RAG) dengan mempertimbangkan pengaruh spesifikasi perangkat keras terhadap waktu respons dan efisiensi jawaban. Metode penelitian yang digunakan adalah eksperimen komparatif dengan pendekatan kuantitatif menggunakan tiga model Generative AI, yaitu Qwen3-32b, GPT-OSS 20b, dan Llama 3.1 8b. Sistem chatbot diintegrasikan menggunakan workflow automation n8n, Pinecone Vector Store, dan layanan Groq API. Evaluasi dilakukan menggunakan Exact Match (EM), ROUGE Score, serta User Acceptance Test (UAT) yang melibatkan 11 mahasiswa sebagai responden. Hasil penelitian menunjukkan bahwa seluruh model menghasilkan nilai EM sebesar 0% karena jawaban berbentuk variasi parafrase. Pada pengujian ROUGE, model Llama 3.1 8b memperoleh performa terbaik dengan nilai ROUGE-1 sebesar 69%–72% dan ROUGE-L sebesar 61%–66%. GPT-OSS 20b memperoleh tingkat kepuasan pengguna tertinggi dan waktu respons tercepat, sedangkan Qwen3-32b unggul pada kejelasan jawaban. Spesifikasi perangkat keras terbukti mempengaruhi performa chatbot perangkat dengan CPU, RAM, dan GPU lebih tinggi mampu menghasilkan jawaban lebih cepat dan efisien. Berdasarkan hasil penelitian, setiap model memiliki karakteristik performa yang berbeda sehingga pemilihan model dapat disesuaikan dengan kebutuhan implementasi sistem.

GS Cited Analysis