Key takeaways
- Zoom sagde angiveligt, at det ville bruge AI til at evaluere en brugers følelser eller engagementsniveau.
- Menneskerettighedsgrupper beder Zoom om at genoverveje sin plan af hensyn til privatliv og datasikkerhed.
- Nogle virksomheder bruger også følelsesdetekterende software under interviews for at vurdere, om brugeren er opmærksom.
Den voksende brug af kunstig intelligens (AI) til at overvåge menneskelige følelser vækker bekymring for privatlivets fred.
Menneskerettighedsorganisationer beder Zoom om at bremse sin plan om at introducere følelsesanalyserende kunstig intelligens i sin videokonferencesoftware. Virksomheden har angiveligt sagt, at den vil bruge kunstig intelligens til at evaluere en brugers følelser eller engagementsniveau.
"Eksperter indrømmer, at følelsesanalyse ikke virker," skrev konsortiet af menneskerettighedsgrupper, inklusive ACLU, i et brev til Zoom. "Ansigtsudtryk er ofte afbrudt fra følelserne nedenunder, og forskning har fundet ud af, at ikke engang mennesker kan nøjagtigt læse eller måle andres følelser nogle gange. Udvikling af dette værktøj tilføjer troværdighed til pseudovidenskab og sætter dit omdømme på spil."
Zoom reagerede ikke umiddelbart på en anmodning fra Lifewire om en kommentar.
Hold styr på dine følelser
Ifølge protokolartiklen ville Zoom-overvågningssystemet kaldet Q for Sales tjekke brugernes taletidsforhold, responstidsforsinkelse og hyppige højttalerskift for at spore, hvor engageret personen er. Zoom ville bruge disse data til at tildele resultater mellem nul og 100, med højere score, der indikerer højere engagement eller stemning.
Menneskerettighedsgrupperne hævder, at softwaren kan diskriminere mennesker med handicap eller visse etniske grupper ved at antage, at alle bruger de samme ansigtsudtryk, stemmemønstre og kropssprog til at kommunikere. Grupperne foreslår også, at softwaren kan udgøre en datasikkerhedsrisiko.
"Høstning af dybtgående personlige data kan gøre enhver enhed, der implementerer denne teknologi, til et mål for snoking af offentlige myndigheder og ondsindede hackere," ifølge brevet.
Julia Stoyanovich, professor i datalogi og ingeniørvidenskab ved New York University, fort alte Lifewire i et e-mailinterview, at hun er skeptisk over for påstandene bag følelsesdetektion.
"Jeg kan ikke se, hvordan sådan teknologi kan arbejde-folks følelsesmæssige udtryk er meget individuelt, meget kulturelt afhængig og meget kontekstspecifik," sagde Stoyanovich."Men, måske endnu vigtigere, jeg kan ikke se, hvorfor vi ønsker, at disse værktøjer skal fungere. Med andre ord, vi ville være i endnu mere problemer, hvis de fungerede godt. Men måske før vi tænker på risiciene, burde vi spørg - hvad er de potentielle fordele ved sådan teknologi?"
Zoom er ikke den eneste virksomhed, der bruger følelsesdetekterende software. Theo Wills, seniordirektør for privatliv hos Kuma LLC, et privatlivs- og sikkerhedsrådgivningsfirma, fort alte Lifewire via e-mail, at software til at opdage følelser bruges under interviews for at vurdere, om brugeren er opmærksom. Det bliver også afprøvet i transportbranchen for at overvåge, om chauffører virker døsige, på videoplatforme for at måle interesse og skræddersy anbefalinger og i pædagogiske selvstudier for at afgøre, om en bestemt undervisningsmetode er engagerende.
Wills hævdede, at kontroversen omkring følelsesovervågningssoftware mere er et spørgsmål om dataetik end privatliv. Hun sagde, at det handler om, at systemet træffer beslutninger i den virkelige verden baseret på fornemmelser.
"Med denne teknologi antager du nu årsagen til, at jeg har et bestemt udtryk i mit ansigt, men drivkraften bag et udtryk varierer meget på grund af ting som social eller kulturel opdragelse, familieadfærd, tidligere oplevelser eller nervøsitet i øjeblikket," tilføjede Wills. "At basere algoritmen på en antagelse er i sagens natur fejlbehæftet og potentielt diskriminerende. Mange populationer er ikke repræsenteret i den population, algoritmerne er baseret på, og passende repræsentation skal prioriteres, før dette bør bruges."
Praktiske overvejelser
Problemerne med følelsessporingssoftware kan være praktiske såvel som teoretiske. Matt Heisie, medstifter af Ferret.ai, en AI-drevet app, der leverer relationsintelligens, fort alte Lifewire i en e-mail, at brugerne skal spørge, hvor analysen af ansigter foretages, og hvilke data der gemmes. Er undersøgelsen udført på opkaldsoptagelser, behandlet i skyen eller på den lokale enhed?
Også spurgte Heisie, som algoritmen lærer, hvilke data den indsamler om en persons ansigt eller bevægelser, der potentielt kunne adskilles fra algoritmen og bruges til at genskabe en persons biometri? Gemmer virksomheden snapshots for at verificere eller validere algoritmens erkendelser, og bliver brugeren underrettet om disse nye afledte data eller lagrede billeder, der potentielt bliver indsamlet fra deres opkald?
"Dette er alle problemer, mange virksomheder har løst, men der er også virksomheder, der er blevet rystet af skandale, når det viser sig, at de ikke har gjort dette korrekt," sagde Heisie. "Facebook er det mest betydningsfulde tilfælde af en virksomhed, der rullede sin ansigtsgenkendelsesplatform tilbage på grund af bekymringer om brugernes privatliv. Moderselskabet Meta trækker nu AR-funktioner fra Instagram i nogle jurisdiktioner som Illinois og Texas over privatlivslovgivningen omkring biometriske data."
