Lafede.cat, conjuntament amb altres organitzacions europees defensores de drets humans en l’àmbit digital, com EDRi o AccesNow, participa en una estratègia coordinada d’incidència per a la fase final de negociació del Reglament de la IA a la Unió Europea (#AIAct). Les organitzacions fan seguiment de les recomanacions que s’han fet arribar per part de la societat civil i treballen perquè es garanteixin els drets de les persones en l’aplicació de la IA.
El procés regulatori de la Unió Europea es va iniciar fa prop de 2 anys, amb la primera proposta de text per part de la Comissió. Llavors, el Consell i l’Europarlament preparen les seves versions amb la primera proposta com a base. Un cop cada òrgan ha definit i consensuat la seva posició en relació al text, s’inicia la fase final, coneguda com a “diàlegs a tres bandes” o “trílegs”. Actualment, la presidència del Consell recau a Espanya, que ja ha fixat el dia 6 de Desembre per la reunió que s’espera que sigui l’última abans de l’acord final.
Balanç i estat de les recomanacions per a la protecció dels Drets Humans a la IA
Tot i que s’han aconseguit alguns compromisos, hi ha una sèrie de qüestions controvertides que continuen obertes. Les organitzacions hem estat treballant perquè el Reglament de la IA posi en primer lloc els drets de les persones. Però qüestions essencials per aquesta protecció encara no tenen un acord tancat. Per aquest motiu, l’aplicació de la IA en àmbits com migracions, seguretat nacional i cossos policials encara no tenen mecanismes regulatoris clars. Existeixen escletxes per a la vigilància massiva i discriminatòria que generen preocupacions.
El passat mes de maig, la federació (conjuntament amb altres organitzacions nacionals) va fer arribar una carta a la Secretaria d’Estat de Digitalització i Intel·ligència Artificial (SEDIA) on demanava que es prioritzés la defensa dels Drets Humans durant les negociacions que es durien a terme sota la seva Presidència del Consell.
Aquesta infografia resumeix l’estat actualitzat de les recomanacions que s’han fet arribar per part de la societat civil:
A continuació, s’explica breument el progrés de cada recomanació:
-
Eliminar l’exempció general per a la IA a la seguretat nacional [❌]
La societat civil ha demanat l’eliminació d’una exempció general del Reglament d’IA per a tots els sistemes d’IA desenvolupats o utilitzats amb finalitats de seguretat nacional, que és una proposta del Consell. L’intent d’excloure de les noves proteccions qualsevol cosa que tingui a veure amb la IA en l’àmbit de la seguretat nacional va en contra de la jurisprudència establerta del Tribunal Europeu de Justícia i convertiria l’àrea de seguretat nacional en una zona de negació i desprotecció drets. El Parlament i la Comissió han proposat un compromís però els informes dels mitjans de comunicació suggereixen que la majoria de governs, especialment França i Alemanya, segueixen bloquejant qualsevol intent de compromís. Les negociacions encara estan en curs.
-
Limitació de l’exportació de sistemes prohibits fora de la UE [❌]
En general, el Reglament d’IA no ha abordat com els sistemes d’IA desenvolupats per empreses amb seu a la UE poden afectar les persones fora de la UE, malgrat les proves existents de violacions dels drets humans facilitades pel reconeixement facial i altres tecnologies de vigilància desenvolupades a la UE a tercers països (per exemple, Xina o als Territoris Palestins Ocupats). Per abordar aquesta problemàtica, el Parlament Europeu ha proposat prohibir l’exportació de sistemes d’IA que es considerin que representen un risc inacceptable per als drets humans i, per tant, es considerin prohibits a la UE. No obstant això, hi ha un rebuig per part de la Comissió Europea i del Consell, que argumenten que el Reglament no és el lloc per abordar aquests problemes.
A més, mentre que lel Reglament d’IA exigeix que les empreses europees i no europees segueixin determinades garanties legals i tècniques si desenvolupen sistemes d’alt risc que s’utilitzen a la UE, l’esborrany de llei no obliga a les empreses europees a seguir els mateixos requisits si desenvolupen aquests sistemes per utilitzar-los fora de la UE.
-
Procés clar de classificació de riscos, sense llacunes legals [❌]
L’article 6, que és el que classifica el risc que poden tenir les aplicacions de la IA als diferents àmbits i en defineix les obligacions legals, ha estat debilitat amb la introducció d’una escletxa que obre la porta a la autoregulació. Com a resultat de la influència política de les grans empreses, està previst que siguin els desenvolupadors d’IA qui decideixin si els sistemes que creen són d’”alt risc” i, per tant, subjectes a requisits i obligacions legals per la defensa dels drets. Tot i que les negociacions han tingut com a objectiu reduir aquesta escletxa, encara existeix el perill que sistemes d’alt risc es classifiquin erròniament i evitin l’escrutini.
-
Prohibició total de la identificació biomètrica a l’espai públic [❌]
Els documents filtrats tant per la banda del Consell com la del Parlament mostren la voluntat d’acordar una prohibició dels usos del reconeixement facial i biomètric en temps real, i només per part de les forces de l’ordre. Aquesta prohibició, que ja es considera insuficient estaria subjecta a àmplies excepcions i salvaguardes limitades.
Això seria una pèrdua de protecció de drets important en comparació amb el text acordat al a l’EuroParlament que contenia prohibicions molt més àmplies. Les organitzacions de la societat civil demanen als co-legisladors que no acceptin aquest resultat, ja que equival a un pla de vigilància massiva biomètrica.
-
Prohibició (parcial) de la policia predictiva [❓]
La societat civil ha demanat una prohibició total dels sistemes predictius i de perfilament en contextos d’aplicació de la llei i justícia penal, ja que soscaven enormement el dret a un judici just i el dret a la no discriminació. Tot i que el Parlament Europeu va incloure una prohibició d’algunes formes de policía predictiva, el Consell s’ha fet enrere, argumentant que els sistemes de policia predictiva haurien de ser simplement “d’alt risc”. Les negociacions encara estan en curs.
-
Prohibició de la categorització biomètrica i el reconeixement d’emocions [❓]
El Parlament Europeu va votar al Juny per prohibir la categorització biomètrica sobre la base de característiques sensibles (per exemple, gènere, ètnia) i el reconeixement de les emocions als llocs de treball, entorns educatius, a les fronteres i per part de les forces de l’ordre. Els documents filtrats del Consell indiquen que hi ha estats membres disposats a expressar una certa flexibilitat per a aquestes prohibicions. Les opcions sobre la taula inclouen la prohibició del reconeixement d’emocions només per a l’educació i els llocs de treball, una limitació estranya atès que el reconeixement d’emocions és fonamentalment una violació de la dignitat humana, la igualtat i la llibertat d’expressió.
-
Identificació biomètrica classificada com a alt risc [ ✅ ]
Aquest és l’únic enfocament consistent i coherent jurídicament, ja que tant el Reglament general de protecció de dades com la Directiva d’aplicació de la llei reconeixen amb raó que l’ús de dades biomètriques per identificar persones és molt sensible. Per tant, els sistemes d’IA que processen aquestes dades han d’estar sotmesos a controls estrictes, sobretot perquè aquests sistemes s’utilitzen amb freqüència en contextos de desequilibris de poder (per exemple, fronteres i migracions).
-
Sistemes d’IA en context migratori, classificats com a alt risc [❓]
Existeixen diversos sistemes que aplicats en el context migratori suposen un risc greu i fonamental per als drets fonamentals, inclòs el dret a sol·licitar asil, però també la privadesa i la protecció de dades en contextos de vigilància fronterera. La societat civil, en particular la coalició #ProtectNotSurveil, ha demanat que, com a mínim, els sistemes analítics predictius i els sistemes de vigilància de fronteres siguin d’alt risc i estiguin subjectes a salvaguardes.
Tot i que és possible que aquest últim sigui catalogat com d’alt risc, els sistemes analítics predictius no ho seran. Alguns legisladors defensen que els sistemes predictius, quan no contenen dades personals, no s’han de considerar d’alt risc. No obstant això, investigacions de la societat civil demostren que hi ha una sèrie de preocupacions sobre els drets fonamentals per a l’ús de sistemes predictius, inclosa la mesura en què poden afectar la capacitat d’accedir a la protecció internacional.
-
Requisits d’accessibilitat per a sistemes d’alt risc [ ✅ ]
La societat civil ha recomanat que es garanteixin els requisits d’accessibilitat horitzontals i integrats als desenvolupadors de tots els sistemes d’IA. Tot i que és poc probable que aquesta recomanació se segueixi completament, preveiem que s’inclouran requisits limitats per als desenvolupadors de sistemes d’alt risc a la Llei d’IA de la UE.
-
Ús de sistemes d’alt risc registrats al repositori públic [ ✅ ]
La creació d’una base de dades a tota la Unió Europea marca un pas important cap a la transparència bàsica sobre la IA a l’administració pública. No obstant això, és essencial tenir en compte que l’abast actual de la base de dades només es limita als sistemes d’alt risc. Des de la perspectiva de la protecció de drets, cal ampliar la base de dades per incloure una gamma més àmplia de sistemes, garantint un enfocament més complet i inclusiu de la transparència i la rendició de comptes a l’administració pública.
-
Sistemes d’alt risc en l’aplicació de la llei/migració registrats al repositori públic [❌]
Malgrat els avenços positius en la transparència pública per als usos de la IA d’alt risc a la base de dades pública, el Consell s’ha resistit a la transparència pública per a la IA d’alt risc utilitzada en l’aplicació de la llei i la migració.
Si bé la societat civil ha argumentat que l’ús de la IA per part dels cossos policials i de migració requereix més transparència, i no menys, a causa de les grans conseqüències per als drets humans, els Estats membres han insistit que la informació sobre sistemes d’IA d’alt risc en aquestes àrees no hauria de ser revelat al públic. Les discussions actuals són sobre si es pot permetre la transparència pública “parcial” per a aquests usos. Les organitzacions insistim, els negociadors de la UE han de garantir la transparència pública per a l’ús de la IA en aquests àmbits.
-
Avaluació d’impacte dels drets fonamentals (sistemes d’alt risc) [ ✅ ]
Les organitzacions considerem positiu que les institucions de la UE semblen haver acordat que les avaluacions d’impacte sobre els drets fonamentals (FRIA) són una eina important de rendició de comptes per als sistemes d’IA d’alt risc. L’exigència que els implementadors de sistemes d’alt risc avaluïn el seu impacte en els drets fonamentals abans de posar el seu sistema en ús en un context específic garantirà que els danys potencials de la IA s’identifiquin i s’evitin al llarg del cicle de vida del sistema.
Tanmateix, encara no està clar si tots els implementadors d’alt risc també hauran de publicar l’avaluació o si aquest requisit es limitarà al sector públic, així com fins a quin punt la societat civil i les comunitats afectades participaran significativament en el procés. La societat civil ha demanat que les avaluacions siguin realitzades per tots els implementadors d’alt risc, ja que els riscos dels drets fonamentals no són menys greus quan sorgeixen de l’ús d’un sistema d’IA per una empresa privada, com per exemple, en el lloc de treball. També hem recomanat assegurar-nos que aquells que probablement es veuran afectats pel sistema d’IA i els experts de la societat civil contribueixin a l’avaluació, ja que poden oferir perspectives úniques que d’altra manera no es tindran en compte.
-
Drets de les persones afectades: dret a la reclamació i explicació [ ✅ ]
Tot i que és poc probable que s’acceptin tota la gamma de drets i recomanacions de reparació descrites per la societat civil, és probable que les negociacions incloguin el dret de les persones afectades a reclamar davant una autoritat nacional de supervisió si els seus drets fonamentals han estat violats per un sistema d’IA regulat per la legislació. A més, les persones tindran dret a demanar una explicació i més informació quan es vegin afectades per sistemes d’alt risc.
—
*Anàlisi elaborat gràcies a les aportacions del grup europeu d’incidència d’IA: Sarah Chander, Karolina Iwańska, Kilian Vieth-Ditlmann, Mher Hakobyan, Judith Membrives, Michael Puntschuh i Ella Jakubowska.