Evaluasi Terhadap Layanan LLM Dalam Pembuatan Soal Berbasis HOTS

Abstract

Evaluasi ini memiliki tujuan untuk menguji kemampuan layanan LLM (Large Language Model) seperti ChatGPT, Gemini, dan Deepseek dalam menghasilkan soal bertipe HOTS (High Order Thinking Skills). Soal tipe HOTS ini memiliki peran dan dampak yang penting dalam meningkatkan kemampuan berpikir kritis. Kemampuan LLM dalam menghasilkan soal HOTS sesuai dengan prompt dan teks masukan perlu diteliti untuk mengetahui efektivitas dan kualitas dari layanan tersebut dilakukan dalam beberapa tahap termasuk penentuan LLM, pembuatan soal, dan penilaian soal. Hasil evaluasi yang telah dilakukan menunjukkan temuan yang signifikan. Secara keseluruhan, ketiga layanan LLM yang menjadi subjek penelitian, yaitu ChatGPT, Google Gemini, dan Deepseek AI, terbukti dapat menghasilkan soal yang sesuai dengan karakteristik tipe soal HOTS serta telah memenuhi syarat-syarat yang ditetapkan dalam kerangka Taksonomi Bloom. Namun ditemukan bahwa salah satu diantara layanan tersebut mampu menghasilkan soal namun dengan kualitas yang tidak sebaik lawannya. Temuan ini mengindikasikan bahwa LLM memiliki potensi besar untuk menjadi alat bantu yang efisien bagi para pendidik dalam mengembangkan instrumen penilaian yang berkualitas.

Ähnliche Arbeiten