Your Privacy

Changemaker Library uses cookies to provide enhanced features, and analyze performance. By clicking "Accept", you agree to setting these cookies as outlined in the Cookie Policy. Clicking "Decline" may cause parts of this site to not function as expected.

Gemma Galdon
SpanyolEticas Foundation
Ashoka Fellow sejak 2020

fellow video thumbmail image

31:46

Addressing algorithmic bias & building better tech
English

Gemma mengubah cara teknologi diciptakan melalui metodologi audit algoritme inovatifnya yang memastikan teknologi tidak meniru bias dan ketidakadilan yang ada dalam alat pengambilan keputusan di kehidupan nyata. Gemma bekerja untuk mengubah pola pikir pemerintah, perusahaan, dan opini publik untuk memastikan bahwa hak dan peraturan yang diperoleh dengan susah payah yang mengatur dunia offline diterjemahkan ke dalam desain dan pengembangan alat teknologi.

#algoritma#Karakterisasi algoritma#Alan Turing#Kecerdasan buatan#Audit#Bias sistemik#Audit keuangan#Audit

Orang

Seperti di banyak keluarga Spanyol, perang saudara berperan dalam pengasuhan Gemma karena kakek-neneknya adalah Partai Republik, pihak yang kalah, dan harus diasingkan. Dari bagian keluarga itu, Gemma dibesarkan dengan nilai-nilai keadilan dan kesetaraan sosial yang membentuk gairah hidupnya. Ibu Gemma baru berusia 14 tahun ketika dia lahir dan itu juga menjadi faktor penting dalam perkembangannya. Gemma sangat mengagumi ibunya – keyakinan dan kekuatannya untuk menjaga dan mendidik putrinya terlepas dari pandangan konservatif yang mengelilinginya di masyarakat. Dia percaya bahwa dia dilahirkan melawan segala rintangan dan mengalahkan rintangan telah menjadi semacam konstan dalam hidupnya. Gemma selalu melibatkan dirinya dalam pertempuran sosial. Dia mengorganisir penggalangan dana untuk LSM lokal di sekolah menengah, memulai Surat Kabar Siswa di sekolah menengah dan kemudian terlibat dalam pengorganisasian siswa di sekitar tujuan sosial. Dia belajar mengatur debat, meluncurkan kampanye, dan berbicara di depan umum berkat pengalamannya dalam berbagai gerakan sosial di Barcelona dan Amerika Serikat. Dia menghabiskan lebih dari sepuluh tahun bekerja sebagai aktivis di The Transnational Institute. Pekerjaannya membawanya ke Filipina, Bolivia, dan Venezuela bekerja pertama dalam protes terhadap privatisasi sumber daya alam dan kemudian bekerja dengan pemerintah dalam rencana pembangunan. Ketika dia kembali ke Spanyol, dia ditawari hibah pra-doktoral dan memutuskan untuk melihat bidang pengawasan dan perencanaan kota dan di sinilah dia mulai menjadi bersemangat tentang dampak teknologi pada kehidupan sehari-hari dan khususnya pada yang lebih rentan. Pembiayaan sudah tersedia untuk studi semacam ini, dan Gemma terus mengembangkan penelitiannya ke persimpangan hak asasi manusia dan teknologi, akhirnya berkonsentrasi pada audit algoritmik sebagai rute utama dan praktis untuk menempatkan manusia ke dalam teknologi. Gemma diundang oleh partai politik Podemos untuk menjadi bagian dari tim pada tahun 2014 sebagai Sekretaris Teknologi, Privasi dan Keamanan dan dia mempertahankan jabatan itu selama dua tahun sebagai kendaraan untuk melobi perubahan kebijakan di dunia teknologi. Dia juga menjadi terkenal sebagai peserta yang blak-blakan dalam acara bincang-bincang radio pagi utama di Catalunya. Pengalaman-pengalaman ini menunjukkan kepadanya bahwa dia ingin terus maju tanpa hambatan politik atau media. Gemma adalah pemain yang sangat dihargai di dunia transformasi teknologi dan tokoh kunci di Komisi Eropa. Dalam perannya sebagai penasihat senior, dia mengevaluasi proyek dan membantu UKM untuk memastikan struktur AI mereka tidak bias. Dia juga kolaborator utama dengan Badan Hak Fundamental Uni Eropa yang melakukan penelitian tentang dampak pengenalan wajah sosial, biometrik, dan perbatasan.

Ide Baru

Di dunia di mana kecerdasan buatan semakin melanggengkan ketidakadilan dan diskriminasi, Gemma menggunakan Audit Algoritma yang inovatif dan dibuat khusus sebagai alat untuk meningkatkan pemikiran kritis di antara para pemain kunci dalam industri teknologi dengan tujuan akhir untuk memastikan bahwa standar etika, keadilan sosial, kesetaraan, dan transparansi termasuk dalam konseptualisasi dan implementasi kemajuan teknologi. Proliferasi algoritma yang cepat membutuhkan perhatian mendesak, karena semakin banyak keputusan penting yang diotomatisasi di sektor publik, swasta, dan amal. Sebagian besar algoritme disusun dan dirancang oleh insinyur pria dengan membangunnya sekarang, memperbaikinya nanti, dan sedikit perhatian diberikan pada bias yang melekat, kurangnya keamanan, dan diskriminasi yang dapat ditimbulkan oleh alat kecerdasan buatan ini. Banyak yang telah ditulis dan dibahas tentang etika di dunia digital, tetapi hanya sedikit yang mengubah debat akademis menjadi solusi yang berhasil. Gemma telah berhasil menerjemahkan konsep etika digital ke dalam proses yang nyata: sebuah metodologi Audit Algoritma untuk perusahaan dan pemerintah yang memberikan hasil, analisis, dan pola pikir baru tentang bagaimana melakukan teknologi dan dampaknya. Audit otomatis tersedia dan disediakan oleh entitas seperti Facebook, Google, dan Microsoft. Masalah dengan ini adalah bahwa mereka tidak menangkap bias yang sebenarnya; mereka cenderung memperkuat variabel "buruk" yang sama tanpa mempertanyakan data asli yang digunakan untuk melatih algoritme. Di sisi lain, audit manual tidak efisien atau hemat biaya. Gemma telah membangun metodologi hibrida yang memerangi negatif dari audit otomatis dengan memasukkan intervensi manual dalam langkah-langkah kunci. Tujuannya adalah untuk menciptakan standar industri yang diterima sebagai bagian integral dari tata kelola perusahaan dan pemerintah, yang diadopsi secara universal, seperti halnya audit keuangan. Tujuan utamanya adalah untuk merevolusi dan memperkenalkan pola pikir baru di industri, di mana teknologi harus bekerja untuk masyarakat dan bukan sebaliknya. Untuk memenuhi tujuan ini, Gemma menggunakan Audit Algoritma sebagai jalan untuk membuka percakapan dengan pemain kunci di industri, mendapatkan umpan balik, masukan, dan pengetahuan mereka untuk membantu menentukan strategi berkelanjutannya. Dia mencurahkan sumber daya yang signifikan untuk membangun komunitas akademisi, politisi, perusahaan teknologi, dan badan industri untuk meningkatkan kesadaran, memperdalam perdebatan, dan pada akhirnya berdampak pada pers dan pembuat kebijakan.

Masalah

Meningkatnya penggunaan algoritme untuk membuat keputusan yang berdampak pada kehidupan masyarakat mengharuskan kami memastikan bahwa keputusan tersebut menghormati hak orang, dan juga bahwa bias dan diskriminasi yang beroperasi di dunia offline tidak diterjemahkan ke dalam sistem data tersebut. Kami kekurangan “kerangka pengambilan keputusan” bagi pemerintah, perusahaan, dan individu untuk membuat keputusan yang tepat memastikan kebaikan semua dalam desain algoritme dan teknologi. Misalnya, jika data historis yang digunakan untuk melatih algoritme platform pekerjaan menunjukkan bahwa perempuan menempati posisi kepemimpinan yang lebih sedikit, algoritme akan menggunakan kriteria tersebut untuk berfungsi, semakin jarang menghubungkan perempuan dengan pekerjaan yang terkait dengan kepemimpinan. Atau untuk perusahaan asuransi, jika data yang digunakan oleh algoritma untuk menentukan siapa yang harus menerima perawatan medis mendesak terkait dengan pengeluaran sebelumnya, pasien yang lebih mahal dari perusahaan akan menerima perawatan medis mendesak, bukan yang paling membutuhkannya. Ada beberapa alasan diskriminasi data menjadi miring. Yang utama, bagaimanapun, adalah fakta bahwa cara kita "melakukan" teknologi telah dibentuk oleh tim insinyur (sebagian besar laki-laki) yang tidak selalu terlatih dalam memahami dunia yang mereka coba kodekan dalam sistem mereka, menghasilkan teknologi yang sering memperburuk masalah. Hal ini menghasilkan dampak komunitas dan sosial yang substansial, dan pelanggaran serius terhadap hak-hak dasar ketika sistem tersebut digunakan untuk membuat keputusan tentang peluang seseorang untuk mendapatkan perawatan medis, mendapatkan pekerjaan, menerima tunjangan, atau masuk penjara. Bias algoritma banyak dibicarakan, tetapi sementara transparansi dan akuntabilitas adalah prinsip standar data yang bertanggung jawab, tidak jelas bagaimana prinsip-prinsip tersebut diterjemahkan ke dalam praktik dan standar teknis dan rekayasa. Di sektor publik dan amal, ada kendala anggaran yang lebih ketat dan dalam banyak kasus kurangnya pemahaman mendalam tentang mur dan baut teknologi, menghasilkan algoritma yang dangkal. Hal ini membuat banyak keputusan publik terbuka terhadap bias atau diskriminasi yang lebih besar. Karena AI mengambil lebih banyak ruang dan tanggung jawab dalam kehidupan kita sehari-hari, kita harus memastikan bahwa teknologi masa depan dapat memahami dan menerjemahkan hak dan peraturan yang diperoleh dengan susah payah yang mengatur dunia offline ke dalam istilah teknis yang transparan. Ekosistem data adalah kesempatan untuk membangun proses pengambilan keputusan di mana orang diperlakukan dengan bermartabat, hormat, dan adil. Peluang ini hanya akan terpenuhi jika di satu sisi para pemain kunci bersedia untuk berpartisipasi dalam debat, disadarkan akan potensi masalah dan termotivasi untuk merancang pemerintahan sendiri dan di sisi lain masyarakat umum disadarkan akan potensi bahaya yang ditimbulkan oleh teknologi. pose.

Strateginya

Pekerjaan Gemma memajukan pemahaman seluruh sistem tentang implikasi sosial, etika, dan hukum dari algoritme, kecerdasan buatan, dan teknologi. Gemma dan timnya secara aktif meneliti dan memberikan panduan praktis dan kerangka kerja pengambilan keputusan teknologi tentang isu-isu yang terkait dengan migrasi, serikat pekerja dan pekerja, gender, dan tata kelola. Metodologi audit yang unik untuk Perusahaan dan Pemerintah Gemma telah meneliti selama bertahun-tahun aspek-aspek teknologi yang tidak etis. Badan penelitian itu telah mengungkapkan bahwa salah satu praktik yang paling merusak dan paling berkembang adalah penggunaan algoritma yang bias. Pada tahun 2018 Gemma mengembangkan metodologi Audit Algoritma untuk mengubah kenyataan ini. Sampai saat ini dia telah melakukan tujuh Audit Algoritma dengan organisasi swasta, publik, dan sosial (Telefónica, Inter-American Development Bank, dan Dewan Kota Barcelona, antara lain) untuk mendapatkan pengalaman langsung dengan kasus kehidupan nyata. Ini telah menjadi dasar metodologi inovatifnya dan sumber kredibilitas yang memungkinkan Eticas berkembang dan menjadi referensi di lapangan. Metodologi Eticas adalah model hibrida yang memanfaatkan efisiensi audit otomatis yang dikombinasikan dengan intervensi audit manual yang sangat bertarget. Intervensi manual sangat penting dalam analisis awal data yang digunakan untuk melatih algoritme, seperti definisi populasi rentan yang bervariasi di antara sektor dan budaya, misalnya, dan juga pada akhir proses, ketika manusia harus menggunakan output algoritma dan perlu dilatih untuk menghindari bias juga. Tim Eticas telah menunjukkan dengan tepat tiga area utama yang terlewatkan oleh layanan audit lainnya: - Tahap perencanaan: Untuk Eticas, penting untuk membangun tim multidisiplin yang tepat untuk menentukan sumber data, analisis, dan pelabelan serta menetapkan model dan area potensial untuk bias. - Tahap pengembangan: Setelah model mulai berfungsi dan menghasilkan keluaran yang cukup untuk dianalisis, Gemma dan tim mengidentifikasi dan memperbaiki setiap bias yang terlihat dalam hasil dengan meninjau kembali data asli dan cara kerja model. Kelompok yang dilindungi diidentifikasi, dan dampak yang berbeda dihitung menggunakan alat audit algoritmik, untuk melihat bagaimana model menciptakan definisi normalitas dan siapa yang diabaikan, dan apakah pengecualian tersebut dapat dibenarkan. - Tahap implementasi: Eticas menyediakan KPI untuk mengukur output yang dimasukkan ke dalam pembelajaran berkelanjutan dan loop pemantauan yang memeriksa apakah bias muncul kembali, atau elemen diskriminatif lainnya diidentifikasi. Audit Algoritma pertama dari sebuah institusi adalah perubahan hidup. Organisasi percaya bahwa hasil AI mereka tidak bias, tetapi setelah melakukan audit pertama, mereka menyadari bahwa mereka mengotomatiskan ketidaksetaraan & bias, menerapkan keputusan berdasarkan data yang salah, atau tidak mematuhi GDPR, di antara masalah lainnya. Dalam pekerjaan algoritme audit Eticas, tim Gemma telah berhasil mengidentifikasi masalah yang terkait dengan diskriminasi gender atau latar belakang etnis dalam algoritme yang digunakan baik di lingkungan publik maupun pribadi. Menciptakan komunitas, menempa pola pikir baru, mengubah hukum. Eticas berfokus pada pembangunan komunitas sebagai alat strategis untuk memengaruhi kesadaran perusahaan swasta dan kebijakan publik, meningkatkan dan mendorong debat publik yang terinformasi seputar masalah ini. Gemma membantu masyarakat memahami dan mengetahui efek nyata dari algoritme – termasuk potensi bahayanya. Langkah pertama untuk membongkar dan melawan bahaya semacam itu adalah membangun pengetahuan yang komprehensif tentang cara kerja algoritma, tidak hanya dalam kapasitas yang dipahami secara konvensional sebagai instrumen matematika, tetapi juga sebagai sistem sosio-teknis dengan berbagai konsekuensi sosial. Masalah kompleks seperti itu membutuhkan pendekatan multifaset dan multi-populasi dan Eticas telah merancang serangkaian inisiatif untuk menyerang masalah dari sudut yang berbeda. Di satu sisi, Eticas menggunakan penyebaran pengetahuan dan pembuatan metodologi terbuka untuk memberi insentif dan memfasilitasi penggunaan teknologi dan algoritme yang lebih tepat pada khususnya. Dan di sisi lain, ia menggunakan tindakan hukum untuk mengendalikan penyalahgunaan atau penyalahgunaan. Melalui OASI (Observatory of Algorithms with Social Impact), ia bekerja untuk memajukan pemahaman publik tentang algoritme dengan membuat basis data yang dapat diakses dan dicari yang mengumpulkan dan menyortir kisah nyata algoritme dan dampak manusianya dari seluruh dunia. OASI mengumpulkan, mengklasifikasikan, dan membuat algoritme dapat dicari berdasarkan dampak, sektor, dan lokasi, dan diperbarui secara berkala. Eticas juga menciptakan dan menyebarluaskan metodologi terbuka, sehingga siapa pun yang memiliki pengetahuan tentang ilmu data dapat mengaudit algoritme dan mengidentifikasi potensi risiko dan dampak negatif. Misalnya, Gemma telah merancang Panduan Algoritma Audit bekerja sama dengan Badan Perlindungan Data Spanyol, dengan tujuan menghasilkan sertifikasi dalam waktu dekat. Sertifikasi ini, yang terinspirasi oleh model B Corp, sekarang merupakan pekerjaan nyata yang sedang berlangsung dan akan menjadi kunci untuk memberikan visibilitas dan menciptakan standar di pasar. Baru-baru ini, Yayasan telah menerapkan litigasi sebagai strategi untuk meminta pertanggungjawaban lembaga dan untuk menegakkan dan meminta perubahan kelembagaan. Pengadilan dan litigasi dapat memiliki peran yang sangat penting dalam menghasilkan perubahan, jika hukum yang melindungi warga negara dimanfaatkan. Gemma menggunakan GDPR sebagai pintu gerbang untuk litigasi. Misalnya, Pasal 22 menyatakan bahwa subjek data memiliki hak “untuk tidak tunduk pada keputusan yang hanya didasarkan pada pemrosesan otomatis, termasuk pembuatan profil” jika memiliki dampak hukum yang memengaruhi mereka. Pasal 5(1)(c) membatasi cakupan data yang dapat diproses oleh sistem AI. Dan terakhir, Pasal 5(1)(d) memungkinkan individu untuk menantang sistem teknologi yang membuat kesimpulan yang tidak akurat tentang individu yang dapat diidentifikasi dari data yang tampaknya tidak terkait. Gemma bersemangat bahwa Eticas akan menjadi kunci untuk mengubah cara kita "melakukan" teknologi saat ini dan bahwa banyak praktik tidak etis saat ini akan menjadi masa lalu. Aspirasinya adalah bahwa slogan Lembah Silikon "bergerak cepat dan hancurkan segalanya" akan dilihat kembali sebagai contoh mengerikan dari zaman ketika prioritas teknologi terbalik. Dia berjuang untuk dunia di mana teknologi melindungi dan meningkatkan hak, alih-alih membatasi atau melanggarnya. Struktur Untuk mengakses pemain kunci bahkan termasuk administrasi publik, Eticas perlu membuat lengan bisnis. Banyak calon mitra merasa tidak nyaman mengontrak layanan semacam ini dari badan amal. Meskipun demikian, 100% keuntungan dari konsultasi disalurkan ke yayasan nirlaba dengan persetujuan dewan direksi. Yayasan Eticas juga menerima dana dari yayasan dan pemerintah lain untuk melakukan penelitian dan proyek tertentu. Kantor pusat Eticas berada di Barcelona, tetapi stafnya bersifat global, saat ini berbasis di tiga benua dan terus bertambah. Beberapa contoh kerja Gemma dan timnya dalam pengaruh kebijakan dan kelembagaan: - Di Amerika Latin, dia bekerja sangat erat dengan BID Banco Internacional de Desarrollo, membantu dalam etika proyek yang mereka biayai dan mengimplementasikan audit algoritme. Di Chili dia telah bekerja dengan pemerintah dalam audit algoritme untuk sebuah proyek dengan anak-anak berisiko. - Di Spanyol, ia bekerja dengan pemerintah daerah untuk mengembangkan strategi data, pengadaan teknologi etis, transformasi digital, dan audit algoritme. Sebagai contoh pekerjaan lobinya, Gemma menawarkan pandangan dan rekomendasinya mengenai skandal saat ini sehubungan dengan penggunaan algoritme untuk A-level yang telah memberikan siswa istimewa yang berasal dari sekolah elit dan wilayah geografis yang kaya keuntungan akademis di Inggris. dalam wawancara di BBC dan The Guardian.