Bayangkan sebuah dunia di mana algoritma kecerdasan artifisial membuat keputusan yang memengaruhi kehidupan sehari-hari Anda. Sekarang, bayangkan mereka berprasangka.
Ini adalah dunia yang sudah kita tinggali, kata ilmuwan data, Harvard PhD dan penulis Cathy O'Neil. (Baca bagian satu dari diskusi kami dengan Dr O'Neil di sini). Kami duduk dengan calon National Book Award untuk mencari tahu apa yang bisa kita lakukan tentang prasangka di era big data. CT: Apakah AI berprasangka?
CO: Setiap algoritma yang tidak secara eksplisit dibuat adil harus dianggap berprasangka. Karena sebagai manusia, kita berprasangka. Jika kita mengakui hal itu, dan kita sedang membuat algoritma ini dengan nilai-nilai dan data kita, maka kita tidak boleh berasumsi ada sesuatu yang secara ajaib terjadi untuk membuat semuanya adil. Tidak ada keajaiban di sana.
CT: Di mana algoritma mendapatkan data mereka?
CO: Tergantung algoritma. Terkadang media sosial, untuk hal-hal seperti penargetan pasar politik atau periklanan atau perguruan tinggi nirlaba dan pinjaman predator - tetapi banyak data tidak dikumpulkan di media sosial, atau bahkan online.
Pengumpulan data semakin terkait dengan kehidupan nyata, seperti mendapatkan pekerjaan, bekerja di pekerjaan Anda, kuliah atau pergi ke penjara. Hal-hal itu bukanlah hal-hal yang bisa kita selesaikan dengan undang-undang privasi. Mereka masalah kekuatan, di mana orang-orang yang ditargetkan oleh algoritma tidak memiliki kekuatan, dan orang-orang yang mengumpulkan informasi dan membangun dan menggunakan algoritma memiliki semua kekuatan. Anda tidak memiliki hak privasi apa pun jika Anda seorang terdakwa kriminal, Anda tidak memiliki hak privasi apa pun di pekerjaan Anda, dan Anda tidak memiliki banyak hal dalam hal hak privasi jika Anda melamar pekerjaan karena jika Anda tidak menjawab pertanyaan yang diajukan calon atasan Anda kepada Anda, kemungkinan Anda tidak akan mendapatkan pekerjaan itu.
Kita seharusnya tidak terlalu memikirkan privasi dan lebih banyak tentang kekuatan dalam hal algoritma dan kerugian [yang bisa mereka sebabkan].
CT: Apa yang bisa kita lakukan untuk membuatnya lebih baik?
CO: Kami dapat mengakui bahwa algoritme ini tidak sempurna secara inheren, dan mengujinya karena kekurangannya. Kita harus memiliki audit dan monitor yang berkelanjutan - terutama untuk keputusan penting seperti perekrutan, hukuman pidana atau penilaian orang di pekerjaan mereka - untuk memastikan bahwa algoritme bertindak dengan cara yang kita inginkan, bukan dengan cara diskriminatif atau tidak adil.
Perjalanan Budaya Ailsa Johnson / ©
CT: Apa skenario kasus terbaik dan terburuk untuk masa depan berbasis data?
CO: Skenario kasus terburuk adalah apa yang kita miliki sekarang - bahwa kita semua secara membuta mengharapkan algoritma menjadi sempurna, meskipun kita seharusnya tahu lebih baik sekarang. Dan kami menyebarkan ketidakadilan dan ketidakadilan di masa lalu. Dan kami terus mengabaikan kekurangan dari algoritma ini.
Skenario kasus terbaik adalah kami mengakui bahwa algoritma ini secara inheren tidak lebih baik daripada manusia. Kami memutuskan apa yang kami inginkan sebagai manusia, apa yang kami perjuangkan. Seperti apa kita ingin masyarakat terlihat, dan kita mengajarkan nilai-nilai itu. Jika kita berhasil melakukannya, algoritma ini bisa lebih baik daripada manusia.
CT: Peran apa yang bisa dimainkan orang biasa?
CO: Peran paling penting yang dapat dimainkan seorang individu adalah untuk tidak mempercayai algoritma apa pun secara implisit. Untuk memiliki sejumlah besar skeptisisme. Jika Anda sedang dievaluasi pada sebuah algoritma, tanyakan 'Bagaimana saya tahu itu adil, bagaimana saya tahu itu membantu, bagaimana saya tahu itu akurat? Berapa tingkat kesalahannya? Untuk siapa algoritma ini gagal? Apakah itu mengecewakan wanita atau minoritas? ' Tanyakan pertanyaan semacam itu.
Hal kedua, di luar skeptisisme, adalah bahwa jika Anda berpikir suatu algoritma tidak adil bagi Anda atau orang lain adalah berorganisasi dengan orang-orang itu. Contoh terbaru adalah guru. Model statistik tentang guru yang memiliki nilai tambah sangat buruk, hampir semua pembangkit angka acak. Tetapi mereka digunakan untuk memutuskan guru mana yang harus mendapatkan masa jabatan dan guru apa yang harus dipecat, di seluruh AS.
Saran saya adalah agar mereka mendorong serikat mereka kembali. Dan ini memang terjadi di beberapa tempat. Tetapi mengejutkan betapa sedikit resistensi di sana karena sifat matematika dari sistem penilaian.
CT: Bagaimana Anda masuk ke 'data besar'?
CO: Saya bekerja di Wall Street dan menyaksikan krisis keuangan dari dalam. Saya merasa jijik dengan cara matematika digunakan untuk mengambil keuntungan dari orang atau untuk menipu orang. Saya melihat jenis kerusakan yang bisa datang dari kebohongan matematika, apa yang saya sebut 'persenjataan matematika'.
Saya memutuskan untuk menjauh darinya, jadi saya bergabung dengan Occupy Wall Street dan mulai bekerja sebagai ilmuwan data. Perlahan-lahan saya menyadari bahwa kami melihat cacat dan menyesatkan hype di sekitar algoritma data yang menyesatkan terjadi di luar Wall Street juga, dan bahwa itu akan menyebabkan banyak kerusakan. Perbedaannya adalah bahwa sementara orang-orang di seluruh dunia memperhatikan krisis keuangan, saya tidak berpikir orang akan melihat kegagalan dari algoritma big data ini, karena mereka biasanya terjadi pada tingkat individu.
Baca bagian satu dari diskusi kami dengan Dr O'Neil di sini. Buku Dr Cathy O'Neil, The Weapons of Math Destruction: Bagaimana Big Data Meningkatkan Ketimpangan dan Mengancam Demokrasi, tersedia sekarang.
