Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788

Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229

Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Pengujian Regresi Otomasi pada Aplikasi Mobile Satudikti Menggunakan

Katalon Studio
Abdullah Akram1, Nunik Pratiwi2
1,2
Teknik Informatika, Universitas Muhammadiyah Prof Dr Hamka, Jl. Tanah Merdeka No 6, Kampung
Rambutan, Ciracas, Jakarta Timur, Indonesia, 13830
e-mail: 1 [email protected], 2 [email protected]

Submitted Date: August 09th, 2023 Reviewed Date: August 11th, 2023
Revised Date: August 22nd, 2023 Accepted Date: August 31st, 2023

Abstract

Satudikti is a one-stop application from the many services available at the Directorate General of
Higher Education, to make it easier for users to access various higher education services in one application.
Before the application can be widely used, a testing step is indispensable. This is due to potential problems
in higher education data that can have a fatal impact, considering that this data is closely related to state
information. And if there is an error in the software, the Directorate General of Higher Education must
restart the development process that can harm the state. Therefore, the purpose of this study is to test the
readiness of the application when it is widely used and reduce the risk of errors to ensure that the application
remains of sufficient quality for users, as well as analyze the effectiveness of the application and then
whether automated regression testing using Katalon Studio has more value than manual testing. Testing in
this study was carried out manually with the black-box testing method and automated testing using Katalon
Studio as an automated testing tool. Testing using Katalon Studio found that the functionality, features, and
access to the tested pages worked well according to existing requirements. The implementation of
automation testing using Katalon Studio has also proven to be more efficient in reducing test time and
providing detailed test results to detect errors with easy-to-understand reporting.

Keywords: Black-box testing; Katalon studio; Automated regression testing; Satudikti.

Abstrak

Satudikti merupakan aplikasi satu pintu dari banyaknya layanan yang ada pada Ditjen Dikti, untuk
mempermudah pengguna dalam mengakses berbagai layanan pendidikan tinggi dalam satu aplikasi.
Sebelum aplikasi dapat digunakan secara luas, langkah pengujian sangat diperlukan. Hal ini dikarenakan
potensi masalah pada data-data pendidikan tinggi yang dapat berdampak fatal, mengingat data ini berkaitan
erat dengan informasi negara. Dan jika terdapat kesalahan dalam software, Ditjen Dikti harus memulai
kembali ke proses development yang dapat merugikan negara. Oleh karena itu, tujuan penelitian ini adalah
untuk menguji kesiapan aplikasi saat digunakan secara luas dan mengurangi risiko terjadinya kesalahan
guna memastikan bahwa aplikasi tetap memiliki kualitas yang memadai bagi para pengguna, serta
menganalisis efektifitas aplikasi yang kemudian apakah pengujian regresi yang diotomasi dengan
menggunakan Katalon Studio memiliki nilai lebih dibandingkan pengujian manual. Pengujian dalam
penelitian ini, dilakukan secara manual dengan metode black-box testing dan pengujian secara otomasi
menggunakan Katalon Studio sebagai alat pengujian otomasi. Pengujian menggunakan Katalon Studio
didapatkan bahwa fungsionalitas fitur dan akses ke halaman yang diuji berjalan dengan baik sesuai
persyaratan yang ada. Implementasi pengujian otomasi menggunakan Katalon Studio juga terbukti lebih
efisien dalam mengurangi waktu pengujian dan memberikan hasil pengujian yang terperinci untuk
mendeteksi kesalahan dengan pelaporan yang mudah dipahami.

Kata Kunci: Black-box testing; Katalon studio; Pengujian regresi otomasi; Satudikti.

http://openjournal.unpam.ac.id/index.php/JTSI 539
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

1. Pendahuluan mobile yang menggabungkan berbagai layanan

Dalam membangun dan mengembangkan pendidikan tinggi yang telah ada di bawah
perangkat lunak, penting adanya tahapan pengujian Direktorat Jenderal Pendidikan Tinggi Riset dan
pada fitur-fitur yang ada guna memastikan produk Teknologi (Ditjen Diktiristek) seperti Kampus
tersebut terhindar dari kecacatan atau bug. Langkah Merdeka, Ijazah LN, Beasiswa, Siaga, Sinta,
pengujian ini memegang peranan penting dalam Garuda, PDDikti, Kedaireka, Kompetensi Dosen,
memberikan jaminan terhadap mutu perangkat Selancar PAK, dan Sivil. Satudikti hadir dengan
lunak yang sedang dalam proses pengembangan berbagai fitur menarik yang dapat memudahkan
(Muslimin et al., 2020). Sebelum aplikasi dapat pengguna untuk mencari informasi sesuai
diterapkan secara luas oleh pengguna, diperlukan kebutuhannya (Echo, 2022). Fitur pada aplikasi
langkah pengujian (Rianto, 2021). Pengujian Satudikti meliputi pencarian, bantuan, berita,
merupakan tahapan yang sangat penting dan hingga pengumuman. Saat ini, aplikasi Satudikti
umumnya dijalankan oleh individu yang berperan telah diluncurkan untuk pengguna Android dan iOS.
sebagai jaminan mutu (Quality Assurance). Meskipun telah dirilis, aplikasi ini masih berada
Saat ini bidang Quality Assurance dalam tahap pengujian dan pengembangan.
dibutuhkan dalam sektor Industri (Bertolino, Pengembangan dalam aplikasi meliputi
2007), secara umum pekerjaan utama Quality penambahan layanan Sistem Informasi
Assurance adalah testing dan reporting. Testing Sumberdaya Terintegrasi (Sister) dan layanan G-
bertujuan untuk memastikan apakah produk sudah Magz yang menyediakan berbagai majalah
sesuai dengan requirement, tindakan ini diperlukan elektronik keluaran Kemenristekdikti terkait
untuk mengidentifikasi masalah-masalah yang pendidikan, perkembangan teknologi hingga isu-
dapat terjadi akibat kesalahan atau bug dalam isu terkini dalam dunia akademik, serta adanya
perangkat lunak. Banyak perusahaan telah pengoptimalan pada layanan yang sudah ada yaitu
menghadapi kesalahan sistem atau masalah teknis Tracer study. Dikarenakan tingkat kerumitan
yang serupa. Pada tahun 2019, perusahaan fungsional aplikasi satudikti, maka diperlukan
transportasi online Indonesia, PT Gojek, pengujian regresi setiap kali ada Pengembangan
mengalami kerugian signifikan akibat adanya fitur dan modifikasi pada kode program.
kesalahan dalam fitur Gopay, yaitu aplikasi dompet Pengujian regresi atau regression testing
digital dari Gojek. Kesalahan tersebut terjadi ketika adalah proses pengujian yang bertujuan untuk
pembelian voucher GPC (Google Play Card) memastikan bahwa Modifikasi pada kode program,
dengan harga Rp.22.000,- mengakibatkan penambahan, atau penghapusan fitur dalam
penerimaan voucher GPC menjadi Rp.500.000,-. aplikasi tidak mengakibatkan dampak negatif
Akibatnya, PT Gojek Indonesia mengalami terhadap fungsionalitas keseluruhan dari aplikasi
kerugian finansial yang besar (Hme17, 2019). tersebut (Kandil et al., 2015). Selama pengujian
Direktorat Jenderal Pendidikan Tinggi (Ditjen regresi, ditentukan bahwa perangkat lunak atau
Dikti) merupakan bagian terpenting di bawah aplikasi berfungsi dengan baik sehubungan dengan
naungan Kementerian Pendidikan dan Kebudayaan. perubahan baru dan perbaikan bug. Disamping itu,
Pendidikan tinggi memiliki peran penting dalam Pengujian regresi juga dapat dijalankan secara
menciptakan generasi penerus yang unggul di otomatis, sehingga mengurangi biaya yang harus
berbagai bidang. Oleh karena itu, Ditjen Dikti dikeluarkan (Wahyono, 2020).
berkomitmen untuk terus memberikan layanan Untuk melakukan automation testing,
terbaik dalam dunia pendidikan tinggi, Dengan diperlukan penggunaan bahasa pemrograman atau
tujuan mewujudkan impian menciptakan Sumber alat bantu (tool) karena pengujian tersebut
Daya Manusia yang memiliki kualitas dan prestasi dilakukan melalui penggunaan komputer. Dalam
unggul (Ditjen Dikti, 2023). Ditjen Dikti telah hal ini, solusi yang digunakan untuk automation
merilis perangkat lunak terbaru yang bertujuan testing adalah framework Katalon Studio. Katalon
untuk meningkatkan pelayanan kepada kalangan Studio memiliki antarmuka Integrated
akademisi. Perangkat lunak tersebut diberi nama Development Environment (IDE) yang
Satudikti (Uma, 2022). menyederhanakan pengujian aplikasi mencakup
Satudikti adalah suatu platform berbasis web, mobile, API, dan desktop. Pada Maret 2019

http://openjournal.unpam.ac.id/index.php/JTSI 540
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Katalon Studio mendapatkan pengakuan dengan

meraih penghargaan Gartner Peer Insights
Customers’ Choice for Software Test Automation
karena keunggulannya.
Dengan demikian, dalam penelitian ini
pengujian secara automasi menggunakan tool
Katalon Studio. Pengujian dengan Katalon Studio
pada penelitian ini difokuskan pada aplikasi Mobile
Satudikti dengan menggunakan test case. Metode Gambar 1. Metodologi Penelitian
yang digunakan untuk test case ini adalah record
dan playback, yang artinya setiap pengambilan Adapun Langkah-langkah yang dilakukan
respon yang dilakukan oleh pengguna pada aplikasi dalam pengujian ini adalah sebagai berikut.
direkam untuk kemudian diputar ulang dalam 1) Analisis Manual Guide
pengujian. Tujuan dari penelitian ini adalah untuk Manual guide berisi informasi
menguji kesiapan aplikasi saat digunakan oleh mengenai ketentuan dari setiap fitur yang ada
banyak pengguna dan mengurangi kemungkinan dalam aplikasi, detail dari tiap aksi yang
terjadinya kesalahan, sehingga menjaga kualitas dieksekusi, keluaran yang diharapkan, serta
dan keberlangsungan aplikasi agar dapat digunakan alur dari setiap fungsi yang ada (Kusyadi et
dengan lancar oleh pengguna. Selain itu, penelitian al., 2022). Setelah memahami manual guide,
ini juga bertujuan untuk menganalisis efektivitas langkah selanjutnya adalah menyusun
aplikasi yang telah dibangun dan dikembangkan. skenario pengujian berdasarkan informasi
Serta Katalon Studio sebagai Automation testing yang terdapat dalam manual guide yang telah
tool berdaya guna dibandingkan pengujian manual dibaca dan dianalisis
dan apakah Katalon Studio memberikan hasil 2) Pembuatan Skenario Pengujian
pelaporan pengujian yang baik atau tidak. Skenario pengujian melibatkan
rangkaian langkah yang terstruktur yang
2. Metodologi dijalankan oleh penguji untuk memastikan
Katalon Studio, yang dirancang oleh Katalon bahwa sistem yang sedang diuji memenuhi
LLC, adalah sebuah solusi otomatisasi pengujian kebutuhan pengguna, memenuhi standar
yang menggunakan konsep sumber terbuka (open tertentu, dan beroperasi dengan efektif
source) yang memberikan bantuan bagi Quality (Pratiwi, 2020). Adapun rancangan
Assurance (QA) dalam melakukan pengujian penerapan black-box testing dapat dilihat
dengan mudah (Herlinda et al., 2019). pada tabel 1, tabel 2, dan tabel 3.
Black box testing dapat diimplementasikan
dalam tiga jenis pengujian, yaitu pengujian Tabel 1. Rancangan Pengujian Sister
fungsional, pengujian non-fungsional, dan Deskripsi Hasil yang
ID
pengujian regresi (Saman & Ratnasari, 2022). Pada Pengujian Diharapkan
penelitian ini, jenis pengujian yang digunakan 01 User melakukan Berhasil menampilkan
adalah pengujian regresi, yang bertujuan untuk login pada halaman detail layanan SISTER
menguji keseluruhan fungsi guna memastikan SISTER
bahwa setiap fitur berjalan sesuai dengan alurnya 02 User membuka Berhasil menampilkan
yang diharapkan. Pada penelitian kali ini, Biodata dosen pada halaman Biodata
layanan SISTER dosen
pengujian dilakukan pada aplikasi Satudikti yang
03 User membuka Berhasil menampilkan
berbasis Android (mobile), sehingga diperlukan Penempatan dosen halaman Penempatan
proses setup sebelumnya. Alat-alat yang digunakan pada layanan dosen
adalah Node.js, Appium, dan perangkat asli (OS). SISTER
Gambaran dari rangkaian metode dalam penelitian 04 User membuka Berhasil menampilkan
ini dijelaskan secara lebih detail pada Gambar 1. Pendidikan dosen halaman Pendidikan
pada layanan dosen
SISTER

http://openjournal.unpam.ac.id/index.php/JTSI 541
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Deskripsi Hasil yang Deskripsi Hasil yang

ID ID
Pengujian Diharapkan Pengujian Diharapkan
05 User membuka Berhasil menampilkan pernyataan berhasil
Penelitian dosen halaman Penelitian mengisi kuesioner
pada layanan dosen 03 User melihat Berhasil menampilkan
SISTER Statistik Perguruan detail Statistik
06 User membuka Berhasil menampilkan Tinggi “Universitas Perguruan Tinggi
Pengabdian dosen halaman Pengabdian Indonesia” “Universitas
pada layanan dosen Indonesia”
SISTER
07 User membuka Berhasil menampilkan 3) Pembuatan Data Binding
Praktisi dosen pada halaman Praktisi Data binding berupa variabel input
layanan SISTER dosen yang diperlukan selama proses pengujian
08 User membuka Berhasil menampilkan berlangsung. Pembuatan data binding
Beban Kerja Dosen halaman Beban Kerja
(BKD) pada layanan Dosen (BKD) dosen
dilakukan dengan membuat variabel pada
SISTER fitur yang ada di katalon studio. Informasi
lebih rinci mengenai data binding dapat
Tabel 2. Rancangan Pengujian G-Magz ditemukan pada Tabel 4 dan Tabel 5.
Deskripsi Hasil yang
ID Tabel 4. Data Binding Login
Pengujian Diharapkan
No Name Type Default Value Mask
01 User mencari judul Berhasil menampilkan
1 Username String [email protected]
Majalah Ristekdikti Majalah Ristekdikti 2 Password String ******** √
Edisi II Tahun 2019 Edisi II Tahun 2019
02 User melihat detail Berhasil menampilkan Tabel 5. Data Binding Data Tracer Studi
Majalah Ristekdikti detail Majalah No Name Type Default Value Mask
Edisi II Tahun 2019 Ristekdikti Edisi II 1 PT String Universitas Gunadarma
Tahun 2019 2 PS String Sistem Informasi
03 User membaca Berhasil menampilkan 3 NIM String ********* √
4 TTL String **/**/**** √
Majalah Ristekdikti isi Majalah Ristekdikti 5 NIK String **************** √
Edisi II Tahun 2019 Edisi II Tahun 2019
untuk dibaca
04 User mendownload Berhasil mendownload
4) Pembuatan Test case
Majalah Ristekdikti Majalah Ristekdikti Kemudian langkah berikutnya adalah
Edisi II Tahun 2019 Edisi II Tahun 2019 membuat test case pada Katalon Studio. Test
05 User membagikan Berhasil membagikan case merupakan dokumen yang berisi urutan
Majalah Ristekdikti Majalah Ristekdikti langkah-langkah pengujian (Ardi & Putro,
Edisi II Tahun 2019 Edisi II Tahun 2019 2021).
pada sosial media pada sosial media 5) Pembuatan Test Suite
whatsapp whatsapp Setelah itu, dilakukan pembuatan test
06 User melihat list Berhasil menampilkan suite, yang merupakan kumpulan test case
Majalah Populer list Majalah Populer yang akan dijalankan secara berurutan
07 User melihat list Berhasil menampilkan dengan data binding yang telah ditentukan
Majalah Edisi Lain list Majalah Edisi Lain
(Wicaksono, 2022). Penelitian kemudian
dilanjutkan secara otomatis menggunakan
Tabel 3. Rancangan Pengujian Tracer Studi
Deskripsi Hasil yang
test suite yang telah dibuat.
ID 6) Eksekusi Skenario Pengujian
Pengujian Diharapkan
01 User melakukan Berhasil memvalidasi Tahap akhir dari penelitian adalah
validasi data untuk data dan menampilkan memeriksa hasil pengujian melalui log
mengisi Kuesioner halaman detail data overview hasil eksekusi test suite atau
mahasiswa melalui pemeriksaan di Katalon TestOps.
02 User mengisi Berhasil mengisi 21 Pengecekan dilakukan dengan
kuesioner setelah kuesioner wajib dan memperhatikan waktu yang dibutuhkan
memvalidasi data menampilkan untuk menyelesaikan satu kali pengujian,

http://openjournal.unpam.ac.id/index.php/JTSI 542
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

mengidentifikasi kesalahan-kesalahan yang 1) Pengujian Manual Dengan Metode Black-

muncul selama proses pengujian, serta Box Testing.
memeriksa laporan hasil pengujian yang Peneliti melakukan pengujian dengan
disajikan dalam bentuk file Excel melalui melakukan langkah demi langkah secara
Katalon TestOps manual dengan memasukkan data binding
yang telah dibuat sebelumnya, dan test case
3. Hasil dan Pembahasan dianggap berhasil / passed jika menghasilkan
Berdasarkan rancangan pengujian yang telah keluaran yang diharapkan. Hasil pengujian
dibuat pada Tabel 1, Tabel 2 dan Tabel 3, maka menggunakan metode black-box testing
langkah selanjutnya adalah menerapkan skenario secara manual dapat dilihat pada Tabel 6,
pengujian pada aplikasi dengan melakukan Tabel 7, dan Tabel 8.
pengujian sebagai berikut.

Tabel 6. Hasil Pengujian SISTER

Deskripsi Hasil yang Hasil
ID Langkah Pengujian Status
Pengujian Diharapkan Pengujian
01 User melakukan 1. Buka Aplikasi satudikti Berhasil Berhasil passed
login pada 2. Tekan menu lainnya melakukan login melakukan
halaman SISTER 3. Pilih menu SISTER pada layanan login dan
4. Tekan button Login sebagai dosen SISTER menampilkan
pada pop up halaman utama
5. Masukkan username SISTER
6. Masukkan password
7. Tekan button Login
8. Tekan button Setuju
02 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Biodata dosen 2. Tekan menu lainnya membuka menampilkan
pada layanan 3. Pilih menu SISTER halaman Biodata halaman
SISTER 4. User melakukan Login dosen biodata dosen
5. Tekan button Lihat Biodata beserta data
dosen
03 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Penempatan 2. Tekan menu lainnya membuka menampilkan
dosen pada 3. Pilih menu SISTER halaman halaman
layanan SISTER 4. User melakukan Login Penempatan penempatan
5. Tekan card Penempatan dosen dosen beserta
data
penempatan
dosen
04 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Pendidikan dosen 2. Tekan menu lainnya membuka menampilkan
pada layanan 3. Pilih menu SISTER halaman halaman
SISTER 4. User melakukan Login Pendidikan pendidikan
5. Tekan card Pendidikan dosen dosen beserta
data pendidikan
dosen
05 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Penelitian dosen 2. Tekan menu lainnya membuka menampilkan
pada layanan 3. Pilih menu SISTER halaman halaman
SISTER 4. User melakukan Login Penelitian dosen penelitian
5. Tekan card Penelitian dosen beserta
data penelitian
dosen

http://openjournal.unpam.ac.id/index.php/JTSI 543
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Deskripsi Hasil yang Hasil

ID Langkah Pengujian Status
Pengujian Diharapkan Pengujian
06 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Pengabdian dosen 2. Tekan menu lainnya membuka menampilkan
pada layanan 3. Pilih menu SISTER halaman halaman
SISTER 4. User melakukan Login Pengabdian pengabdian
5. Tekan card Pengabdian dosen dosen beserta
data
pengabdian
dosen
07 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Praktisi dosen 2. Tekan menu lainnya membuka menampilkan
pada layanan 3. Pilih menu SISTER halaman Praktisi halaman
SISTER 4. User melakukan Login dosen praktisi dosen
5. Tekan card Praktisi beserta data
praktisi dosen
08 User membuka 1. Buka Aplikasi satudikti Berhasil Berhasil passed
Beban Kerja 2. Tekan menu lainnya membuka menampilkan
Dosen (BKD) 3. Pilih menu SISTER halaman Beban halaman Beban
pada layanan 4. User melakukan Login Kerja Dosen Kerja Dosen
SISTER 5. Tekan card Beban Kerja Dosen (BKD) dosen (BKD) dosen
(BKD) beserta data
Beban Kerja
Dosen (BKD)
dosen

Tabel 7. Hasil Pengujian G-Magz

Deskripsi Hasil yang Hasil
ID Langkah Pengujian Status
Pengujian Diharapkan Pengujian
01 User mencari 1. Buka aplikasi Satudikti Berhasil mencari Berhasil passed
judul majalah 2. Tekan menu lainnya majalah melakukan
“Majalah 3. Pilih menu G-Magz pencarian dan
Ristekdikti Edisi 4. Tekan kolom pencarian cari judul menemukan
II Tahun 2019” Majalah Majalah
5. Masukkan judul majalah “Majalah Ristekdikti
Ristekdikti Edisi II Tahun 2019” Edisi II Tahun
2019
02 User melihat 1. Buka aplikasi Satudikti Berhasil Berhasil passed
detail majalah 2. Tekan menu lainnya membuka detail menampilkan
“Majalah 3. Pilih menu G-Magz majalah hasil halaman detail
Ristekdikti Edisi 4. Tekan kolom pencarian cari judul pencarian majalah
II Tahun 2019” Majalah Majalah
5. Masukkan judul majalah “Majalah Ristekdikti
Ristekdikti Edisi II Tahun 2019” Edisi II Tahun
6. Tekan majalah hasil pencarian. 2019
03 User membaca 1. Buka aplikasi Satudikti Berhasil Berhasil passed
majalah “Majalah 2. Tekan menu lainnya membuka menampilkan
Ristekdikti Edisi 3. Pilih menu G-Magz majalah untuk isi Majalah
II Tahun 2019” 4. Tekan kolom pencarian cari judul dibaca Ristekdikti
Majalah Edisi II Tahun
5. Masukkan judul majalah “Majalah 2019
Ristekdikti Edisi II Tahun 2019”
6. Tekan majalah hasil pencarian
7. Tekan button mulai membaca

http://openjournal.unpam.ac.id/index.php/JTSI 544
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Deskripsi Hasil yang Hasil

ID Langkah Pengujian Status
Pengujian Diharapkan Pengujian
04 User 1. Buka aplikasi Satudikti Berhasil Berhasil passed
mendownload 2. Tekan menu lainnya mendownload melakukan
majalah 3. Pilih menu G-Magz majalah download
4. Tekan kolom pencarian cari judul untuk Majalah
Majalah Ristekdikti
5. Masukkan judul majalah “Majalah Edisi II Tahun
Ristekdikti Edisi II Tahun 2019” 2019
6. Tekan majalah hasil pencarian
7. Tekan button download
05 User membagikan 1. Buka aplikasi Satudikti Berhasil Berhasil passed
majalah 2. Tekan menu lainnya membagikan membagikan
3. Pilih menu G-Magz majalah Majalah
4. Tekan kolom pencarian cari judul Ristekdikti
Majalah Edisi II Tahun
5. Masukkan judul majalah “Majalah 2019 pada
Ristekdikti Edisi II Tahun 2019” social media
6. Tekan majalah hasil pencarian whatsapp
7. Tekan button share
8. Pilih media social whatsapp untuk
membagikan majalah
06 User melihat list 1. Buka Aplikasi Satudikti Berhasil melihat Berhasil passed
Majalah Populer 2. Tekan menu lainnya list Majalah menampilkan
3. Pilih menu G-Magz Populer halaman
4. Tekan button Lihat Lainnya pada Majalah
Majalah Populer Populer dan
menampilkan
data Majalah
Populer
07 User melihat list 1. Buka Aplikasi Satudikti Berhasil melihat Berhasil passed
Majalah Edisi 2. Tekan menu lainnya list Majalah menampilkan
Lain 3. Pilih menu G-Magz Edisi Lain halaman
4. Tekan button Lihat Lainnya pada Majalah Edisi
Majalah Edisi Lain Lain dan
menampilkan
data Majalah
Edisi Lain

Tabel 8. Hasil Pengujian Tracer Studi

Deskripsi Hasil yang Hasil
ID Langkah Pengujian Status
Pengujian Diharapkan Pengujian
01 User melakukan 1. Buka aplikasi Satudikti Berhasil Berhasil passed
validasi data 2. Tekan menu lainnya memvalidasi data melakukan
untuk mengisi 3. Pilih menu Tracer Studi validasi data
Kuesioner 4. Tekan box Isi Kuesioner dan
5. Masukkan Perguruan Tinggi menampilkan
6. Masukkan Program Studi halaman detail
7. Masukkan NIM data
8. Masukkan Tanggal Lahir mahasiswa
9. Masukkan NIK
10. Tekan button Selanjutnya

http://openjournal.unpam.ac.id/index.php/JTSI 545
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Deskripsi Hasil yang Hasil

ID Langkah Pengujian Status
Pengujian Diharapkan Pengujian
02 User mengisi 1. Buka aplikasi Satudikti Berhasil Berhasil passed
kuesioner setelah 2. Tekan menu lainnya memvalidasi data mengisi
memvalidasi data 3. Pilih menu Tracer Studi dan berhasil kuesioner
4. Tekan box Isi Kuesioner untuk mengisi 21 wajib dan
5. Masukkan DataValidasi kuesioner wajib menampilkan
6. Tekan button Selanjutnya halaman utama
7. Masukkan jawaban 21 pertanyaan Tracer Studi
wajib
8. Tekan button Selesai
03 User melihat 1. Buka aplikasi Satudikti Berhasil melihat Berhasil passed
Statistik 2. Tekan menu lainnya detail Statistik menampilkan
Perguruan Tinggi 3. Pilih menu Tracer Studi Perguruan Tinggi statistik
4. Tekan box Statistik Perguruan
5. Masukkan nama perguruan tinggi Tinggi
“Universitas Indonesia” Universitas
6. Tekan button Cari Indonesia

2) Penerapan Pengujian Otomasi Menggunakan

Katalon Studio
Setelah menyelesaikan pengujian
manual dengan penerapan test case yang
telah disusun, langkah berikutnya adalah
melakukan pengujian otomasi dengan
menggunakan Katalon Studio. Berikut ini
adalah tahapan yang harus diikuti ketika
melakukan pengujian menggunakan Katalon
Studio.
a. Pengambilan Objek
Pengambilan objek bisa dapatkan
dan dijalankan melalui dua pendekatan, Gambar 3. Objek Spy Mobile
yaitu dengan menggunakan metode
record dan metode spy. Lebih detail Perbedaan antara keduanya adalah
dapat dilihat pada Gambar 2 dan Gambar objek spy digunakan untuk menangkap
3. objek-objek yang ada pada aplikasi
secara satu persatu, sedangkan objek
record digunakan dalam merekam
seluruh aktivitas pengujian pada
aplikasi. Objek yang telah direkam atau
diambil akan disimpan di dalam folder
yang disebut object repository, sehingga
memudahkan pengambilan objek yang
diperlukan dalam pembuatan test case.
Informasi mengenai object repository
dapat ditemukan pada Gambar 4.

Gambar 2. Objek Record Mobile

http://openjournal.unpam.ac.id/index.php/JTSI 546
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Gambar 4. Object Repository Gambar 7. Test case Tracer Studi

Kemudian test case disusun Katalon Studio memberikan

menggunakan objek yang telah disimpan kemudahan dalam pengujian dan
pada saat record atau spy. Objek yang pembuatan test case. Fitur call test case
telah direkam kemudian diberikan nama memanggil kembali test case yang
atau kata kunci sesuai dengan pengujian diinginkan untuk dijalankan. Sebagai
yang direncanakan. Kata kunci pada contoh pada Gambar 5, pada saat
Katalon Studio tersedia sangat lengkap menjalankan test case Sister maka
dan mudah untuk digunakan, yang program akan melakukan eksekusi pada
memudahkan pengguna dalam perintah pertama yaitu membuka
pembuatan test case. Informasi lebih aplikasi terlebih dahulu. Test case untuk
lengkap mengenai test case dapat membuka aplikasi juga dapat di panggil
ditemukan pada Gambar 5, Gambar 6, pada skenario test case lain.
dan Gambar 7. b. Pembuatan Test suite
Test suite merupakan sebuah
kumpulan atau wadah yang berisi banyak
test case yang saling terkait, dan dapat
menjalankan satu pekerjaan dengan
scenario pengujian yang berbeda.
Langkah pertama dalam pembuatan test
suite adalah menyeleksi test case yang
akan dijalankan dan melakukan
pemilihan variable data binding untuk
test case yang akan dieksekusi. Tampilan
Gambar 5. Test case SISTER dalam pembuatan test suite sangat
mudah untuk dimengerti dan waktu
respons yang cepat sangat membantu
untuk menyusun test suite. Detail
informasi mengenai test suite dapat
ditemukan pada Gambar 8, Gambar 9,
dan Gambar 10.

Gambar 6. Test case G-Magz

http://openjournal.unpam.ac.id/index.php/JTSI 547
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Gambar 12. Log viewer G-Magz

Gambar 8. Test suite SISTER

Gambar 13. Log viewer Tracer Studi

Dilhat pada Log Viewer, terlihat

bahwa pengujian pada ketiga layanan
yang di uji sesuai dan berjalan dengan
baik tanpa kesalahan. Selain melalui Log
Viewer, hasil pengujian juga dapat
Gambar 9. Test suite G-Magz
dilihat melalui Katalon TestOps. Hasil
pengujian pada Katalon Studio untuk test
suite yang telah dijalankan dapat diakses
melalui halaman website
https://analytics.katalon.com.
Hasil pengujian pada Katalon
TestOps dapat diunduh dalam bentuk file
Excel. File yang diunduh mempunyai
dua sheet. Sheet yang pertama bernama
Gambar 10. Test suite Tracer Studi overview berisi detail tentang proses
hasil pengujian secara umum.
c. Eksekusi Skenario Pengujian Sedangkan Sheet kedua berisi rincian
Langkah pertama dalam lengkap setiap test case yang dieksekusi
menjalankan skenario pengujian dimulai bernama test result. Katalon TestOps
dengan eksekusi test suite yang telah menghadirkan hasil pengujian yang
disusun sebelumnya. Banyaknya komprehensif dan menampilkan data
pengujian akan bervariasi bergantung pengujian dengan cara yang sederhana
pada jumlah data dan test case yang ada dan mudah dimengerti sehingga tester
pada test suite. Setelah pengujian secara efektif dapat membaca dan
dijalankan, hasil daripada test suite dapat menganalisa hasil pengujian yang
dilihat pada Log viewer. Detail Log dieksekusi. Untuk lebih detailnya
viewer hasil eksekusi test suite dapat mengenai Sheet Overview dapat dilihat
dilihat pada Gambar 11, Gambar 12, dan pada Gambar 14, Gambar 15, dan
Gambar 13. Gambar 16.

Gambar 11. Log viewer SISTER

Gambar 14. Sheet Overview SISTER

http://openjournal.unpam.ac.id/index.php/JTSI 548
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

kesalahan saat pengujian manual dapat

diminimalisir. Selain itu, test case yang telah dibuat
dapat dimanfaatkan ulang dan disesuaikan sesuai
dengan kebutuhan ketika terjadi pembaruan atau
modifikasi pada aplikasi satudikti.
Dari hasil pengujian, terbukti bahwa
pengujian otomatis lebih efektif dari pada
Gambar 15. Sheet Overview G-Magz
pengujian manual dalam hal efisiensi waktu.
Pembuatan test case dan test suite relatif sederhana
dan tidak terlalu rumit serta eksekusi program
berjalan dengan cepat. Selain itu, pelaporan hasil
pengujian mudah untuk didapatkan dengan adanya
Katalon TestOps yang menpresentasikan data
secara detail dan mudah untuk dipahami serta
pelaporan hasil pengujian dapat diunduh.

Gambar 16. Sheet Overview Tracer Studi 5. Saran

Dari hasil simpulan yang dihasilkan,
Berdasarkan hasil pengujian yang terdapat rekomendasi dan saran untuk penelitian
pada Log viewer dan Katalon TestOps terlihat selanjutnya adalah melakukan pengujian regresi
bahwa layanan Sister, G-Magz, dan Tracer Studi otomasi menggunakan tool yang berbeda guna
pada Aplikasi mobile Satudikti berjalan lancar membandingkan kelebihan dan kekurangannya
sesuai dengan scenario pengujian yang telah dibandingkan dengan Katalon Studio. Selain itu,
disusun berdasarkan scenario pengujian dan tidak penelitian ini telah dilakukan pada sistem operasi
ditemukan kesalahan atau bug pada fitur-fitur Android, oleh karena itu penelitian selanjutnya bisa
tersebut serta menunjukkan fungsi-fungsi yang mengarah ke sistem operasi iOS.
berjalan baik. Lalu Katalon TestOps menampilkan
data pengujian yang efektif sebagai pelaporan Referensi
pengujian atas eksekusinya program dan Ardi, F., & Putro, H. P. (2021). Pengujian Black Box
memperlihatkan hasil pengujian yang lebih detail Aplikasi Mobile Menggunakan Katalon Studio
dibandingkan Log Overview. (Studi Kasus: ACC Partner PT. Astra Sedaya
Finance). AUTOMATA, 2(1).
4. Kesimpulan Bamai Uma. (2022, November 12). Ditjen Dikti Ristek
Luncurkan Aplikasi SatuDikti, Satu Aplikasi
Pengujian berhasil dilakukan pada aplikasi
Untuk berbagai Kebutuhan. Bamai.Uma.Ac.Id.
Satudikti, dengan fokus pada layanan Sister, G- https://bamai.uma.ac.id/2022/11/12/ditjen-dikti-
Magz, dan Tracer Study, telah selesai. Total jumlah ristek-luncurkan-aplikasi-satudikti-satu-aplikasi-
pengujian yang telah dilakukan berjumlah 18 case. untuk-berbagai-
8 Case digunakan dalam pengujian layanan Sister, kebutuhan/?%2F2022%2F11%2F12%2Fditjen-
7 case digunakan dalam pengujian G-Magz dan 3 dikti-ristek-luncurkan-aplikasi-satudikti-satu-
case digunakan dalam pengujian Tracer Studi. aplikasi-untuk-berbagai-kebutuhan%2F=
Berdasarkan pengujian secara automasi terhadap 3 Bertolino, A. (2007). Software testing research:
Layanan yang ada pada aplikasi Satudikti dapat Achievements, challenges, dreams. Future of
disimpulkan bahwa tidak kecacatan atau bug dari Software Engineering (FOSE’07), 85–103.
Dedi Wahyono. (2020). Automation Regression Testing
ketiga layanan tersebut, dan fungsionalitas fitur
Pada Aplikasi Ifocus Mobile Menggunakan
pada layanan tersebut beroperasi dengan lancar dan Katalon Studio Studi Kasus Pt Gue. Universitas
sesuai dengan kriteria yang telah ditentukan. Atma Jaya Yogyakarta.
Katalon Studio juga sangat membantu dan Ditjen Dikti. (2023). Profil Institusi Direktorat Jenderal
mempermudah tester untuk melakukan pengujian Pendidikan Tinggi, Riset, dan Teknologi.
aplikasi, terutama pada pengujian secara regression Dikti.Kemdikbud.Go.Id.
karena dapat menemukan bug pada fitur yang telah https://dikti.kemdikbud.go.id/profil-institusi-
ada yang diakibatkan oleh fitur baru. Dengan direktorat-jenderal-pendidikan-tinggi/
melakukan proses pengujian secara otomatis,

http://openjournal.unpam.ac.id/index.php/JTSI 549
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi
Jurnal Teknologi Sistem Informasi dan Aplikasi ISSN: 2654-3788
Penerbit: Program Studi Teknik Informatika Universitas Pamulang e-ISSN: 2654-4229
Vol. 6, No. 4, Oktober 2023 (539-550) DOI: 10.32493/jtsi.v6i3.33063

Herlinda, H., Katarina, D., Ambarsari, E. W., & Kom, Pramono Echo. (2022, August 11). Ditjen Dikti ristek
M. (2019). Automation testing tool dalam Luncurkan Aplikasi SatuDikti, Satu Aplikasi untuk
pengujian aplikasi belajar tajwid pada platform Berbagai Kebutuhan. Umko.Ac.Id.
Android. STRING (Satuan Tulisan Riset Dan https://www.umko.ac.id/2022/08/11/ditjen-dikti-
Inovasi Teknologi), 4(2), 205–212. ristek-luncurkan-aplikasi-satudikti-satu-aplikasi-
Hme17. (2019, April 1). Akibat Bug Pada Aplikasi, untuk-berbagai-kebutuhan/
Gojek Rugi Ratusan Juta Rupiah – Rianto, I. (2021). Rekayasa Perangkat Lunak. Penerbit
Wartaindonews. Wartaindo.News. Lakeisha.
https://wartaindo.news/akibat-bug-pada-aplikasi- Rizka Yulianti Pratiwi. (2020). Functional Testing Pada
gojek-rugi-ratusan-juta-rupiah/ Aplikasi Mobile Acc.One [Universitas Atma Jaya].
Kandil, P., Moussa, S., & Badr, N. (2015). A study for http://e-journal.uajy.ac.id/id/eprint/22268
regression testing techniques and tools. Saman, P., & Ratnasari, C. I. (2022). Pengujian Black
International Journal of Soft Computing and Box Pada Aplikasi Pembelajaran Bahasa
Software Engineering [JSCSE], 5(4), 64–84. Mandarin Berbasis Android. Jurnal Ilmiah Intech:
Kusyadi, I., Prastika, A., Noviyanto, D., Aisah, S., & Information Technology Journal of UMUS, 4(01),
Mulyati, S. (2022). Pengujian Aplikasi Kas 10–22.
Keuangan Menggunakan Katalon. 5, 91–96. Wicaksono, F. D., & Rani, S. (2022). Rancang Bangun
Muslimin, D. B., Kusmanto, D., Amilia, K. F., Ariffin, Automation Test Journey pada E-Commerce.
M. S., Mardiana, S., & Yulianti, Y. (2020). AUTOMATA, 3(2).
Pengujian Black Box pada Aplikasi Sistem
Informasi Akademik Menggunakan Teknik
Equivalence Partitioning. Jurnal Informatika
Universitas Pamulang, 5(1), 19–25.

http://openjournal.unpam.ac.id/index.php/JTSI 550
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0
International (CC BY-NC 4.0) License
Copyright © 2023 Abdullah Akram, Nunik Pratiwi