Repository ini dibuat untuk ikut serta dalam perlombaan AI for Accessibility yang diadakan oleh Microsoft X BINUS University 2024 š„š„
- Gambaran Besar
- Ide Hackathon
- Cara Penggunaan Web
- Penjelasan dan Tampilan Web
- Demo Video
- Translation
- Detail Tim
Speech Spark
Sparkly
Nama aplikasi yang akan kami ciptakan dan kembangkan untuk mencapai tujuan dan menyelesaikan masalah yang sudah kami tuliskan pada bagian sebelumnya adalah Speech Spark. Aplikasi yang kami buat ini berbasis website, sehingga dapat diakses oleh pengguna dari berbagai perangkat elektronik. Aplikasi yang kami buat akan terintegrasi dengan berbagai fitur teknologi AI untuk mempermudah pengguna dalam penggunaan aplikasi dan tentunya meningkatkan performa serta kualitas media pembelajaran bagi pengguna disabilitas yang menggunakannya. Sehingga, aplikasi kami dapat memenuhi motto yang dipegang yaitu, āBersama, Kita Bicara!ā
Aplikasi yang kami buat memiliki sebuah maskot yang bernama Sparkly yang merupakan seekor kunang-kunang (firefly). Pemilihan maskot ini didasari dari kemampuan hewan tersebut untuk selalu bersinar, bahkan dalam kegelapan. Menggambarkan para penyandang disabilitas yang selalu berjuang di kondisi apapun yang mereka hadapi. Selain itu, beberapa detail lain, maskot serta aplikasi kami memiliki warna utama yaitu jingga yang menunjukkan brand dari platform kami.
Topik: Komunikasi
Pernyataan Masalah: Bagaimana cara mengotomatisasi terapi wicara bagi orang-orang yang memiliki disabilitas dalam hal berbicara menggunakan AI?
Untuk mengenal lebih dalam terkait permasalahan ini, maka kami akan memberikan gambaran terkait deskripsi masalah untuk topik komunikasi, khususnya bagi para penyandang disabilitas. Permasalahan yang sering dihadapi orang-orang penyandang disabilitas yang mengalami kesulitan berbicara terjadi pada kehidupan sehari-hari mereka. Salah satunya adalah kesulitan berkomunikasi dengan pemahaman, kefasihan, dan produksi suara. Hal ini dapat berpengaruh pada kemampuan mereka berinteraksi dengan orang lain secara efektif. Mereka juga mengalami kesulitan dalam memproduksi suara yang jelas, penggunaan bahasa dan pemilihan kata-kata yang benar, memahami perkataan orang lain, mengungkapkan pikiran atau perasaan mereka dengan jelas, mengikuti percakapan dengan lancar, menyusun kalimat yang benar, dan menggunakan intonasi yang sesuai. Pernyataan ini didukung oleh data dari Survei Penduduk Antar Sensus oleh Badan Pusat Statistik pada tahun 2022 yang menunjukkan bahwa 1.268.636 orang memiliki sedikit kesulitan dalam berkomunikasi, 310.072 orang memiliki banyak kesulitan dalam berkomunikasi, dan 188.468 orang sama sekali tidak dapat berkomunikasi karena adanya kesulitan dan gangguan dalam berbicara. Kesulitan tersebut dapat mengakibatkan mereka terisolasi dalam situasi sosial dan menurunkan kepercayaan diri mereka.
Oleh karena itu, kami ingin membantu para penyandang disabilitas dalam aspek komunikasi agar mereka memiliki suatu wadah untuk berlatih berbicara, atau dengan kata lain melakukan terapi wicara. Terapi wicara merupakan proses atau metode yang dirancang untuk membantu dalam meningkatkan kemampuan bicara, memahami, dan menggunakan pemilihan bahasa dengan lebih efektif. Namun, beberapa penyandang disabilitas memiliki akses yang terbatas terhadap layanan terapi wicara akibat kekurangan biaya maupun metode terapi wicara yang kurang efektif. Hal-hal tersebut dapat menjadi hambatan mereka dalam mengatasi kesulitan berbicara. Maka dari itu, penting untuk meningkatkan aksesibilitas terhadap pelayanan terapi wicara bagi individu yang membutuhkannya.
Berikut merupakan kumpulan solusi objektif untuk mengatasi permasalahan komunikasi bagi para penyandang disabilitas:
- Menyediakan platform atau media untuk terapi wicara dengan harga yang terjangkau dan kualitas baik.
- Mengintegrasikan teknologi AI dalam pembuatan aplikasi pelayanan terapi wicara untuk mempermudah pengguna dalam belajar dan latihan berkomunikasi.
Berikut ini merupakan daftar untuk teknologi dan tools yang kami gunakan dalam pengembangan Speech Spark:
-
Bahasa Pemrograman (Static Website)
- HTML
- CSS
- JavaScript
Ketiga bahasa tersebut merupakan bahasa utama yang digunakan dalam pengembangkan static website untuk bagian front-end.
-
Tools
- Figma: digunakan dalam membuat kerangka dan gambaran besar untuk desain aplikasi website yang akan dibuat.
- Microsoft Copilot: digunakan untuk membantu kami dalam menghasilkan gambar yang digunakan untuk membuat logo aplikasi.
- GitHub: merupakan sarana yang digunakan untuk menyimpan code dan repository untuk melakukan hosting atau deploy pada Microsoft Azure.
- Replit: digunakan sebagai media untuk berkolaborasi secara langsung dalam menulis code dan mengembangkan front-end website.
- Visual Studio Code: merupakan editor coding untuk memulai coding dengan cepat menggunakan berbagai bahasa pemrograman.
- OneDrive digunakan sebagai tempat penyimpanan berbasis cloud untuk menyimpan serta berkolaborasi dalam berbagai dokumen-dokumen.
-
Teknologi dan Tools Pengembangan AI (Microsoft Azure)
- Azure Static Web App
- Azure Video Indexer (Emotions detection)
- Speech Studio (Pronunciation Assessment with speech to text + Captioning with speech to text)
- Azure Cognitive Services for Language & Azure Bot integrated with OpenAI
Berdasarkan dengan segala hal yang sudah kami tuliskan pada bagian-bagian sebelumnya, maka dengan ini para penyandang disabilitas dalam hal komunikasi akan memperoleh sebuah solusi yang ditawarkan salah satunya adalah tersedia platform aplikasi berbasis web bernama, Speech Spark. Aplikasi ini memiliki tiga fitur utama, yaitu Speech Study, Scene Speak, dan Spark Bot. Aplikasi ini juga memiliki berbagai fitur dan layanan lain yang tentunya juga menarik dan akan mendukung pertumbuhan dari orang-orang yang memiliki disabilitas dalam berkomunikasi.
Harapan kami adalah dengan adanya aplikasi ini, para penyandang disabilitas dapat dimudahkan keperluannya seputar melatih komunikasi dalam diri masing-masing. Solusi yang efisien, menyenangkan, dan mudah diakses oleh segala kalangan merupakan fondasi dari Speech Spark.
Berikut ini merupakan rencana-rencana yang akan dilakukan untuk pengembangan aplikasi website kedepannya
-
Penambahan Fitur-fitur Tambahan
- Seperti penjelasan pada bagian aplikasi sebelumnya, rencana selanjutnya adalah kami akan menambahkan berbagai fitur lain seperti Personalised Profile, Community, dan Learn Together.
-
Pengintegrasian AI untuk seluruh fitur
- Sementara ini aplikasi yang kami buat masih dalam bentuk static web app, sehingga pengintegrasian AI belum terlalu signifikan dalam aplikasi kami. Sehingga, kami akan mengaplikasikan teknologi AI secara lebih komprehensif dan menyeluruh untuk seluruh fitur-fitur yang mendukung pengintegrasian AI. Beberapa rencana pengintegrasian AI tersebut adalah pada fitur Speech Study, Scene Speak, Personalised Profile, memberikan rekomendasi video pembelajaran sesuai dengan data-data pengguna, dan beberapa fitur lainnya.
-
Menambahkan back-end untuk aplikasi kami
- Kami akan menggunakan framework seperti React atau Laravel sehingga ekosistem kode yang ada lebih kuat. Pemeliharaan aplikasi juga lebih mudah untuk dilakukan dengan menggunakan framework tertentu.
-
Menambahkan database pada website aplikasi Speech Spark
- Untuk saat ini aplikasi kami belum terhubung dengan database spesifik. Selanjutnya, kami dapat mengembangkan aplikasi kami agar terhubung dengan database seperti MySQL, PostgreSQL, MongoDB, ataupun Firebase. Hal ini dilakukan agar pengelolaan data yang terdapat di aplikasi kami lebih tertata rapi.
-
Meningkatkan penggunaan layanan Microsoft Azure
- Seperti yang sudah dijelaskan pada bagian-bagian sebelumnya, aplikasi web kami ini masih dalam tahap pengembangan. Sehingga, terdapat beberapa bagian fitur yang belum terintegrasi dengan layanan dari Azure. Oleh karena itu, untuk mempermudah pengembangan aplikasi dan peningkatan fitur-fitur kedepannya, kami akan mengintegrasikan seluruh ekosistem daripada aplikasi web kami ke dalam Microsoft Azure. Seperti pada bagian back-end dan database, kami juga akan mencoba untuk menggunakan layanan yang tersedia pada Microsoft Azure, salah satunya menjadikan static web app menjadi dynamic web app + database.
-
Meningkatkan brand-awareness Speech Spark
- Dengan menggunakan strategi promosi yang tepat, kami dapat meningkatkan kesadaran masyarakat akan permasalahan yang sering dihadapi oleh para penyandang disabilitas. Adanya Speech Spark dapat mengundang masyarakat agar memiliki kesadaran lebih akan isu komunikasi dengan penyandang disabilitas. Kami akan menjangkau semua kalangan penyandang disabilitas, baik anak kecil, remaja, maupun dewasa untuk dapat menggunakan Speech Spark sebagai alternatif terapi wicara.
Website yang kami buat tidak memiliki teknik instalasi khusus atau command maupun hal-hal yang wajib dilakukan oleh user yang ingin menjalankan Website ini.
Karena itu, berikut langkah secara sederhana saja terkait cara penggunaan Web kami:
User dapat download repository ini secara lokal maupun forking / copy Repostiory ini ke Repository pribadi
Adapun, jika user ingin clone repository melalui url, user dapat menggunakan url berikut ini:
https://github.com/Visella/Sikat.git
Langkah terakhir adalah bahwa file utama daripada Website kami ini adalah file yang memiliki nama "index.html" dan berada pada directory terluar pada Repository ini.
Sehingga, jika ingin menjalankan secara local, pastikan bahwa file index.html yang terbuka pada local host yang dijalankan
Halaman Beranda berisi informasi singkat tentang website Speech Spark, penjelasan fasilitas-fasilitas yang ada, mulai dari fitur Speech Study, Scene Speak, dan Spark Bot. Halaman ini juga menjelaskan layanan yang dapat dipilih oleh pengguna, section tesimoni, artikel, dan footer.
Halaman ini merupakan fitur utama dari Speech Spark, yaitu pembelajaran terstruktur melalui berbagai modul pembelajaran
Halaman ini merupakan fitur utama kedua dari Speech Spark, dimana pengguna dapat berlatiha berkomunikasi melalui berbagai video yang disediakan
Halaman ini merupakan fitur utama ketiga, dimana pengguna dapat bertanya kepada Chatbot Speech Spark yang bernama Spark Bot!
Halaman ini merupakan fitur tambahan dari Speech Spark, yaitu dimana pengguna dapat membaca berbagai artikel secara gratis untuk meningkatkan pengetahuan
Halaman ini merupakan tempat dimana user dapat login dan register untuk masuk maupun membuat akun Speech Spark
Video Presentasi kami telah disimpan dan di dokumentasikan ke dalam sebuah OneDrive
Link Video Presentasi + Demo Website
Kami menyediakan penjelasan juga dalam versi Bahasa Inggris yang dapat diakses pada file berikut ini:
Repository ini dibuat oleh Tim "SIKAT":
- Anastashia Ellena Widjaja
- Jesselyn Widjaja
- Jessy Clarissa Wijaya
- Stanley Nathanael Wijaya (Ketua Tim)
- Visella
Dari Universitas Bina Nusantara (BINUS) Region Alam Sutera