Key takeaways
- ToxMod, af det Boston-baserede firma Modulate, hævder at detektere og handle imod forstyrrende tale automatisk i re altid.
- I stedet for at være begrænset af simpelt sprog, bruger ToxMod maskinlæring til at finde ud af immaterielle ting som følelser, volumen og rytme.
- ToxMod er i øjeblikket designet til brug med chatrum i spillet, men der er ingen grund til, at det ikke kunne komme til din Twitch-kanal.
En Boston-baseret virksomhed bruger maskinlæring til at skabe, hvad den fakturerer som verdens første stemmeindfødte modereringstjeneste, der kan kende forskel på, hvad der bliver sagt, og hvad det betyder.
ToxMod er et forsøg på at løse paradokset ved at moderere enhver åben plads på internettet; der er ikke nok mennesker til at følge med efterspørgslen, men algoritmer, filtre og et rapportsystem forstår ikke nuancer.
Med ToxMods database kan den spore faktorer i spillernes tale som følelser og lydstyrke, hvilket hjælper den med at skelne mellem en kortvarig lapse og et adfærdsmønster. Det blev for nylig annonceret som en tilføjelse til 7v7 amerikansk fodboldspil Gridiron, som i øjeblikket findes i Steam Early Access.
"Alle ved, at chikane, hadefulde ytringer og toksicitet i stemmechat og spil er et massivt problem. Det er almindeligt forstået," sagde Carter Huffman, teknologichef og medstifter af Modulate, i et Google-møde med Lifewire. "Vi kunne tage de funktioner, som vi udtog gennem denne række af maskinlæringssystemer, og samle det i et system, der tog højde for al denne ekspertviden, som vi lærte fra samfundet."
Alle hils vores nye robotmoderatorer
Modulate har arbejdet på ToxMod siden sidste efterår og har indarbejdet det som en af virksomhedens tre kernetjenester. Den tilbyder også VoiceWear, en stemmeforklædning drevet af maskinlæring, og VoiceVibe, en aggregatortjeneste, der lader brugere finde ud af, hvad folk i deres fællesskaber diskuterer.
Når ToxMod kører i en chat, kan den programmeres via Modulates adminpanel til at udføre en række automatiske handlinger, såsom at udsende advarsler, dæmpe spillere eller individuelt justere lydstyrken.
Den bruger et triage-system, hvor dens lokale forekomst er den første til at handle, før den tjekker med Modulates servere for bekræftelse. Så eskalerer det endelig til det punkt, hvor det måske kræver menneskelig indgriben. Ved at køre gennem hver kontrol på skift, som Modulate kalder "triage gates", er ideen, at ToxMod giver et lille hold af moderatorer værktøjerne til effektivt at moderere et meget større fællesskab.
"Den triste sandhed er, at alle har haft den oplevelse, med at prøve at bruge stemmechat på hvilken platform du end var på, og opdage, at det var en dårlig idé, dreng," sagde Modulate CEO Mike Pappas i en videoopkald med Lifewire. "At være i stand til at gå ind og sige: 'Dette er ikke det vilde vesten. Der er regler.' Jeg synes, det er rigtig vigtigt."
Breaking the System
Det andet eller tredje spørgsmål om ToxMod er naturligvis, hvordan man bryder det.
Med mange automatiske modereringssystemer, såsom de algoritmer, der styrer Twitter, er det nemt at spille dem mod folk, du ikke kan lide. Bare masserapporter dit mål med et par sokke-dukke-konti, og de vil pålideligt spise et forbud.
"På et basisniveau behøver ToxMod ikke at stole på disse yderligere spillerrapporter," sagde Pappas. "Det er stadig i stand til at producere solide skøn over, hvilke lovovertrædelser vi skal være opmærksomme på. Du behøver ikke bekymre dig om, at spillere prøver at spille systemet, da der ikke rigtig er noget at spille.
Alle ved, at chikane, hadefulde ytringer og toksicitet i stemmechat og spil er et massivt problem.
"Alt, du har kontrol over som spiller, er din egen lyd," fortsatte Pappas. "Det værste, du kan gøre, er at være mindre dårlig af en person, så vi ikke markerer dig som en dårlig skuespiller, hvilket jeg vil sige er noget tæt på missionssucces."
Generelt er ideen bag ToxMod et aktivt genvindingsforsøg. Mange spillere har på dette tidspunkt oplevet en form for chikane fra tilfældige fremmede i åbne stemmekanaler, lige fra tilfældige fornærmelser til aktive trusler. Som et resultat har spillere en tendens til at vige tilbage fra stemmechat generelt og foretrækker at opgive dets bekvemmelighed i bytte for deres egen ro i sindet.
"Det, vi forventer at se [er dårlige skuespillere, der bruger] meget mindre tid på stemmechat, før de bliver fundet og fjernet," sagde Pappas."Det har mere end blot en lineær indvirkning. Når alle ser stemmechat som et mere sikkert sted, er flere gode skuespillere villige til at vende tilbage til stemmechat og prøve det. Jeg tror, alt kan gå i en positiv retning."
