Saat ini banyak sekali chat-bot yang sudah dikembangkan sebagai virtual assistant. Namun sampai sekarang belum ada teknologi yang dapat berinteraksi secara natural dengan manusia. Virtual assistant seperti Siri atau Google belum dapat benar-benar mengerti intesi kita, emosi kita, serta belum dapat menginterpretasikan hubungan sosial [1]. Hal ini dikarenakan model dialog atau komunikasi yang kita miliki sangatlah kompleks untuk dapat dimengerti dan diproses oleh komputer yang secara hakikinya tidak mengerti kecerdasan sosial Salah satu kesulitan dalam membangun model komputasi untuk dialog adalah tidak adanya dataset lokal (Bahasa Indonesia) yang komprehensif untuk dialog multimodal (speech, ekspresi wajah, dan text). Berdasarkan latar belakang tersebut, peneliti mengusulkan untuk merancang dataset untuk dialog multimodal dalam Bahasa Indonesia dan juga membangun framework sistem dialog multimodal Menggunakan Deep Reinforcement dan Self-Supervised Contrastive Learning dengan variabel tambahan emosi dan kepribadian.

Model emosi multimodal, Model kepribadian, model dialog, self-supervised learning, Deep Reinforcement Learing.

• Dr. Esther Widhi Andangsari, M.Si., Psi.

• Ir. Andry Chowanda, S.Kom., MM, Ph.D., MBCS, CCP, CME, IPM, SMIEEE

• Irene Anindaputri Iswanto, S.Kom., M.Sc.Eng.