GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop
Peluncuran fitur Computer Use menandai langkah baru dalam pemanfaatan GitHub Copilot. Pada fungsi utamanya, GitHub Copilot banyak dimanfaatkan untuk memberikan saran pemrograman. Dengan hadirnya Computer Use, Copilot memiliki kemampuan bekerja pada perangkat lunak komputer menggunakan perintah berbentuk percakapan. Fitur ini membantu AI memahami konteks visual, kemudian menjalankan perintah keyboard sesuai kebutuhan pengguna. Berkat mekanisme interaksi langsung, pekerjaan berulang mampu disederhanakan tanpa selalu membutuhkan skrip khusus.
Fitur interaksi komputer tersebut dapat digunakan pada GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Artinya, cara kerja sistem berpotensi mengalami penyempurnaan berdasarkan evaluasi teknis. Nilai tambah penting adalah kompatibilitas dengan program berbasis antarmuka grafis yang tidak menyediakan API. Dalam situasi tersebut, Copilot berpotensi memanfaatkan interaksi visual seperti klik dan pengetikan untuk menjalankan alur operasional. Meski menawarkan kemudahan, fitur ini tetap membutuhkan pengawasan terhadap tindakan.
Panduan Menyalakan Fitur Computer Use di Windows dan macOS
Ketika ingin mencoba Computer Use, pengguna harus mengetahui bahwa aplikasi GitHub Copilot telah tersedia. Ketika antarmuka GitHub Copilot tampil, pilih bagian pengaturan aplikasi, kemudian temukan halaman Computer Use. Melalui panel yang tersedia, ubah menjadi aktif pilihan Enable Computer Use agar kemampuan interaksi desktop tersedia. Pada pengaturan awal, fitur ini memerlukan aktivasi pengguna. Pengaturan awal ini memberikan kendali lebih besar kepada pengguna sebelum AI berinteraksi dengan aplikasi. Dengan demikian, pengguna bisa mengatur kapan Copilot boleh menggunakan kemampuan desktop.
Untuk perangkat yang menjalankan macOS, pengaturan tambahan menjadi bagian dari aktivasi agar Computer Use dapat berjalan dengan program yang terpasang. Izin tersebut meliputi Accessibility dan Screen Recording. Izin Accessibility memungkinkan berinteraksi dengan elemen antarmuka, sedangkan Screen Recording memungkinkan pemeriksaan konteks visual. Pengguna dapat mengikuti arahan pada halaman Computer Use. Di sisi lain, proses pengaktifan dapat dijalankan dari menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Meski Windows memiliki mekanisme tersendiri, kendali atas perangkat lunak tetap berada dalam kendali pengguna.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Selain melalui aplikasi grafis, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa antarmuka perintah, metode aktivasi ini memberikan kendali melalui sesi percakapan terminal. Sesudah mengakses sesi Copilot CLI yang mendukung fitur tersebut, pengguna bisa memasukkan perintah `/computer on` untuk memulai kemampuan interaksi desktop. Ketika perlu memastikan status fitur, jalankan perintah `/computer show`. Sebaliknya, perintah `/computer off` berfungsi menghentikan ketersediaan Computer Use. Berkat perintah sederhana tersebut, pengguna dapat mengatur ketersediaan kemampuan desktop sesuai jenis tugas yang sedang dijalankan.
Setelah Computer Use aktif, pengguna dapat memberikan arahan tugas berbentuk percakapan. Pada aktivitas kerja sehari-hari, pengguna memiliki pilihan mengarahkan Copilot untuk menjalankan program yang tersedia, kemudian merangkum data di jendela aplikasi. Jika instruksi mencakup pengolahan informasi, Copilot dapat membantu navigasi antarmuka setelah izin yang diperlukan diberikan. Agar proses berjalan lebih terarah, sebutkan aplikasi yang terlibat secara mudah dipahami. Sebagai ilustrasi, pengguna bisa memberikan permintaan untuk merangkum informasi tanpa mengubah data dengan ketentuan pekerjaan yang ditentukan. Pendekatan ini membantu mengurangi kesalahan tindakan.
Computer Use Membantu Mengelola Dokumen dan Aplikasi Lama
Contoh penggunaan yang relevan adalah otomatisasi pekerjaan administratif yang memerlukan banyak interaksi. Dalam pekerjaan kantor, pengguna sering harus memeriksa data secara manual. Dengan bantuan GitHub Copilot, sebagian pekerjaan berulang mampu disederhanakan. Pada kebutuhan tertentu, Copilot bisa diminta memeriksa sistem pengelolaan informasi, kemudian meninjau status pekerjaan. Apabila pengguna mengizinkan, sistem mampu membantu melakukan pemindahan data ke aplikasi lain. Dengan demikian, aktivitas administratif berulang dapat membutuhkan lebih sedikit interaksi pengguna.
Kemampuan tersebut memiliki nilai tambah bagi perusahaan dengan sistem internal khusus. Sejumlah sistem perusahaan mendukung otomatisasi melalui terminal. Situasi semacam ini sering membuat proses integrasi membutuhkan pekerjaan tambahan. Melalui kemampuan membaca layar, Copilot berpotensi menangani tugas melalui tombol dan menu. Pada contoh pekerjaan, pengguna dapat meminta untuk mengambil data dari program tanpa API. Meski mampu membantu pekerjaan GUI, kelancaran interaksi masih bergantung pada kondisi jendela yang digunakan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, perlindungan informasi pengguna tetap menjadi prioritas utama. Ketika Copilot berinteraksi aplikasi desktop, informasi yang terlihat dapat menjadi bagian dari konteks pemrosesan AI. Sebagai langkah perlindungan, pengguna harus memastikan ruang lingkup kontrol desktop. Sistem Computer Use menerapkan mekanisme izin sebelum menjalankan tindakan pada perangkat lunak sesuai kebijakan penggunaan. Dengan mekanisme tersebut, pengguna bisa mengizinkan tindakan berdasarkan risiko aktivitas.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot mendukung pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot memiliki akses berkelanjutan sesuai pengaturan aplikasi yang mendapat otorisasi pengguna tanpa mengulang seluruh proses persetujuan. Meski mempermudah penggunaan berulang, penggunaan Always allow sebaiknya dibatasi, terutama untuk perangkat lunak bisnis sensitif. Pengguna dapat meninjau pengaturan Always allowed apps dan menghapus akses sesuai kebijakan organisasi. Tidak kalah relevan, proses otomatisasi yang berjalan dapat dihentikan melalui tombol Stop atau tombol Esc sesuai antarmuka yang digunakan. Dengan demikian, otomatisasi dapat dihentikan ketika diperlukan.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Kehadiran Computer Use menunjukkan perkembangan penting GitHub Copilot dari pendukung penulisan kode menuju otomatisasi aplikasi desktop. Melalui kemampuan membaca elemen antarmuka, Copilot mampu mendukung pengelolaan dokumen menggunakan instruksi bahasa alami. Kemampuan ini bermanfaat terutama untuk aplikasi tanpa API yang membutuhkan interaksi manual. Walaupun memberikan kemudahan, penerapan sebaiknya disertai pengawasan tindakan agar risiko kesalahan dapat dibatasi.
Pada era otomatisasi digital modern, teknologi computer use dapat berkembang sebagai pendukung aktivitas profesional. Walaupun kemampuan tersebut terus berkembang, kesalahan membaca antarmuka memerlukan langkah mitigasi. Penyedia Copilot menggarisbawahi bahwa computer use belum keluar dari tahap pratinjau publik. Supaya otomatisasi lebih terarah, berikan instruksi yang spesifik dan tinjau perubahan yang dibuat. Menurut pengalaman Anda, apakah teknologi interaksi komputer otomatis akan meningkatkan produktivitas pada masa mendatang? Jangan ragu menyampaikan pandangan mengenai fitur Computer Use.
