HikaLeon Subs
Algorithm
Bagaimana kami membuat
subtitle untuk Sakurazaka46
Sebagai fans Sakurazaka46, saya ingin membantu para Buddies Indonesia menikmati konten mereka — dari kelucuan variety show, drama di balik layar, hingga penampilan panggung yang bikin merinding. Tapi membuat subtitle secara manual butuh waktu berhari-hari per episode.
Maka lahirlah project ini: SubtitledByAI — sebuah pipeline yang memanfaatkan model AI untuk mentranskripsi audio Jepang dan menerjemahkannya ke Bahasa Indonesia secara otomatis, sehingga subtitle bisa rilis lebih cepat dan konsisten.
Versi pertama, berjalan sepenuhnya secara lokal. Proses transkripsi audio Jepang menggunakan Whisper API dari OpenAI, dan hasil transkrip diterjemahkan ke Bahasa Indonesia menggunakan GPT-4o. Sederhana, tapi sudah cukup untuk membuktikan konsepnya.
Pipeline yang sama dengan v1.0, namun dipindahkan ke Google Colab. Tujuannya agar tidak membebani mesin lokal, dan bisa dijalankan dari mobile kapan saja. Kualitas hasil identik dengan v1.0.
Masih di Colab, tapi proses transkripsi diganti. Alih-alih memanggil Whisper API berbayar, v2.5 menjalankan model kotoba-whisper-v2.0 secara langsung di dalam Colab (gratis). Kualitas transkripsi tetap setara, sementara biaya turun signifikan karena tidak ada lagi panggilan API untuk transkripsi.
Versi ini adalah perombakan total dari pipeline sebelumnya. Tidak ada lagi panggilan ke Whisper atau GPT untuk transkripsi. Seluruh proses transkripsi sekarang menggunakan Gemini 2.5 Pro via Files API — dan ini mengubah segalanya.
Tidak seperti GPT atau Claude, Gemini bisa menerima input audio secara langsung melalui API. Artinya AI bisa mendengar — bukan hanya membaca teks transkripsi mentah. Ia bisa membedakan siapa yang bicara, memahami konteks dari nada suara, mengoreksi kata-kata yang ambigu berdasarkan bunyi dan ekspresi, bahkan memahami sound effect latar belakang sebagai konteks. Hasilnya: akurasi jauh lebih tinggi, timing lebih presisi, dan terjemahan lebih natural.