GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Peluncuran fitur Computer Use menandai kemajuan menarik dalam pemanfaatan GitHub Copilot. Pada fungsi utamanya, GitHub Copilot umumnya dikenal untuk memberikan saran pemrograman. Dengan hadirnya Computer Use, Copilot memiliki kemampuan bekerja pada program dengan antarmuka grafis menggunakan perintah berbentuk percakapan. Fitur ini mendukung AI mengamati elemen antarmuka, kemudian menjalankan perintah keyboard sesuai tujuan pekerjaan. Melalui sistem ini, pekerjaan berulang dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Computer Use tersedia dalam GitHub Copilot CLI dan aplikasi GitHub Copilot untuk perangkat desktop yang menggunakan Windows atau macOS. Dalam periode pengenalannya, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, fitur yang tersedia mungkin diperbarui berdasarkan perkembangan layanan. Salah satu manfaat utamanya adalah dukungan bagi aplikasi lama yang belum mendukung integrasi MCP. Dalam situasi tersebut, Copilot mampu menjalankan interaksi visual seperti penggunaan tombol keyboard untuk menyelesaikan tugas. Walaupun fleksibel, pengguna masih perlu memberikan instruksi yang tidak ambigu.
Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot
Sebelum menggunakan Computer Use, pengguna harus mengetahui bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Setelah aplikasi dibuka, pilih bagian pengaturan aplikasi, kemudian masuk ke Computer Use. Melalui panel yang tersedia, aktifkan pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Pada pengaturan awal, fitur ini memerlukan aktivasi pengguna. Pengaturan awal ini memberikan kesempatan menentukan izin kepada pengguna sebelum AI berinteraksi dengan aplikasi. Berkat aktivasi manual, pengguna dapat menentukan kapan Copilot boleh menggunakan kemampuan desktop.
Untuk perangkat yang menjalankan macOS, izin sistem tertentu menjadi bagian dari aktivasi agar Computer Use mampu berinteraksi dengan perangkat lunak desktop. Pengaturan keamanan yang dimaksud terdiri atas Accessibility dan Screen Recording. Accessibility digunakan untuk menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording memungkinkan pemeriksaan konteks visual. Pengguna dapat mengikuti arahan pada halaman Computer Use. Untuk perangkat Windows, pengaturan dasar tersedia pada menu Computer Use tanpa persyaratan izin macOS tersebut. Walaupun prosesnya berbeda, kendali atas perangkat lunak tetap berada dalam kendali pengguna.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Tidak hanya menggunakan menu pengaturan, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa antarmuka perintah, cara ini menawarkan pengoperasian yang praktis. Setelah menjalankan sesi Copilot CLI yang mendukung fitur tersebut, pengguna bisa memasukkan perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, masukkan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` dapat digunakan untuk menonaktifkan fitur. Melalui pengendalian ini, pengguna bisa menentukan status penggunaan alat sesuai jenis tugas yang sedang dijalankan.
Setelah Computer Use aktif, pengguna dapat memberikan arahan tugas berbentuk percakapan. Dalam penggunaan praktis, pengguna dapat meminta Copilot untuk mengakses perangkat lunak desktop, kemudian memeriksa tampilan perangkat lunak. Apabila tugas melibatkan perubahan, Copilot berpotensi melakukan pengetikan teks setelah akses aplikasi disetujui. Supaya instruksi tidak menimbulkan kebingungan, tentukan batasan pekerjaan secara spesifik. Misalnya, pengguna bisa memberikan permintaan untuk memindahkan informasi antaraplikasi dengan ketentuan pekerjaan yang ditentukan. Instruksi terarah tersebut membantu mengurangi interaksi yang tidak diperlukan.
Computer Use Membantu Mengelola Dokumen dan Aplikasi Lama
Contoh penggunaan yang relevan adalah otomatisasi pekerjaan administratif yang memerlukan banyak interaksi. Untuk aktivitas profesional, pengguna terkadang perlu membuka berbagai jendela. Berkat kemampuan interaksi antarmuka, beberapa langkah tersebut dapat dibantu AI. Sebagai contoh, Copilot bisa diminta membuka aplikasi laporan pengeluaran, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem dapat melanjutkan pemindahan data ke aplikasi lain. Berkat pengoperasian bertahap, pekerjaan yang biasanya membutuhkan banyak klik dapat membutuhkan lebih sedikit interaksi pengguna.
Kemampuan tersebut memiliki nilai tambah bagi organisasi yang memiliki perangkat lunak konvensional. Tidak semua aplikasi mendukung otomatisasi melalui terminal. Kondisi tersebut sering membuat otomatisasi lebih sulit. Dengan memanfaatkan konteks visual, Copilot berpotensi menangani pekerjaan menggunakan elemen grafis. Sebagai ilustrasi, pengguna bisa mengarahkan untuk memperbarui informasi pada aplikasi desktop. Namun demikian, ketepatan tindakan perlu mempertimbangkan kondisi jendela yang digunakan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, pengendalian tindakan otomatis merupakan pertimbangan mendasar. Saat AI mengendalikan aplikasi desktop, data dalam jendela mampu masuk dalam referensi untuk menjalankan tindakan. Oleh sebab itu, pengguna sebaiknya membatasi ruang lingkup kontrol desktop. Layanan otomatisasi tersebut meminta persetujuan sebelum mengendalikan aplikasi sesuai konfigurasi izin yang berlaku. Melalui pengaturan ini, pengguna dapat menolak tindakan berdasarkan risiko aktivitas.
Selain izin sementara, GitHub Copilot juga menawarkan pengaturan Always allow untuk perangkat lunak tertentu. Dengan pengaturan izin tersimpan, Copilot memiliki akses berkelanjutan sesuai pengaturan aplikasi yang dimasukkan ke daftar izin tanpa selalu meminta konfirmasi baru. Meski mempermudah penggunaan berulang, penyimpanan otorisasi aplikasi harus dipertimbangkan secara cermat, terutama untuk perangkat lunak bisnis sensitif. Pemilik komputer memiliki kesempatan memeriksa daftar aplikasi yang diizinkan dan mencabut persetujuan tersimpan sesuai kebijakan organisasi. Sebagai tindakan penting, proses otomatisasi yang berjalan dapat dihentikan melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Melalui kontrol tersebut, pengguna tetap memiliki kendali.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Peluncuran Computer Use memperlihatkan kemajuan baru GitHub Copilot dari asisten pemrograman menuju pendukung pekerjaan lintas aplikasi. Berkat akses terhadap konteks visual, Copilot dapat membantu pengelolaan dokumen menggunakan arahan pengguna. Fitur tersebut bermanfaat terutama untuk program berbasis GUI yang belum mendukung integrasi modern. Namun demikian, pengoperasian masih membutuhkan penjelasan tugas yang jelas agar risiko kesalahan dapat dibatasi.
Pada era otomatisasi digital modern, otomatisasi melalui antarmuka visual berpotensi menjadi bagian penting produktivitas. Meski otomatisasi menjadi lebih mudah, kesalahan membaca antarmuka memerlukan langkah mitigasi. GitHub sendiri menjelaskan bahwa computer use masih berada dalam public preview. Untuk hasil terbaik, tentukan batasan pekerjaan dan evaluasi pekerjaan sebelum digunakan. Menurut pengalaman Anda, apakah Computer Use GitHub Copilot akan meningkatkan produktivitas pada masa mendatang? Jangan ragu menyampaikan pandangan mengenai pemanfaatan GitHub Copilot.
