Key takeaways
- Navi bruger SharePlay og Apples indbyggede tale-til-tekst til at tilbyde undertekster og oversættelser i FaceTime.
- Det er langt fra perfekt, men allerede godt nok.
- Undertekster er gode til tilgængelighed.
Navi er en app, der føjer live undertekster og re altidsoversættelser til dine FaceTime-opkald.
Appen bruger SharePlay og indbygget talegenkendelse til at tilføje undertekster og oversættelser på 20 sprog til dine FaceTime-opkald. Det er en utrolig brug af SharePlay, som de fleste af os betragter som en gimmick måde at se synkroniserede film med folk andre steder. Du behøver måske ikke fyre din oversætter endnu, men en app, der gør dette godt, kunne være sindssygt nyttig.
"Jeg får ikke lyden fra FaceTime-opkaldet," skriver Navi-udvikler Jordi Bruin på Twitter, "men bruger SharePlay til at dele det blandt deltagerne i opkaldet."
SharePlay
SharePlay er en ny funktion i iOS 15 og macOS 12.1, der lader dig dele og synkronisere ting i FaceTime-opkald. Med eksemplet med filmvisning ovenfor kan enhver deltager sætte filmen på pause eller afspille filmen, for eksempel, mens I alle chatter i FaceTime-opkaldet. FaceTime-videoen forbliver åben i et lille, flydende billede-i-billede-panel, og hver deltager kører appen lok alt på deres enhed. SharePlays trick er at synkronisere, hvad der sker i disse lokale apps, så alle deler oplevelsen, hvad enten det er en film, en Fitness+ træning eller et regneark.
Navi bruger den samme teknologi, kun appen under opkald er ikke en film - det er en oversættelsesmaskine i re altid. For at bruge den skal du starte appen, mens du er i et FaceTime-opkald og trykke på knappen 'Slå undertekster til'. Så kan andre deltagere også deltage i handlingen og se live undertekster for den aktuelle taler. Hvis nogen monologer, vokser deres taleboble og hænger lidt længere.
For døve kan dette betyde forskellen mellem at ringe til folk eller ej. Og for alle betyder det, at du kan have nyttige samtaler mellem mennesker, der ikke deler et sprog.
Universal Text
Internettet er bygget på tekst, og det er fantastisk. Den er lille og nem at oprette, læse og oversætte. Det er også nemt at omdanne til syntetiseret tale. Resultatet er, at alle fra hvor som helst kan deltage i enhver samtale. Sproget er ingen barriere, og det er døvhed eller nogen form for blindhed heller ikke - så længe du bruger en enhed med gode tilgængelighedsværktøjer til nedsat syn eller hørelse.
Men det t alte ord er meget sværere at behandle. Tale-til-tekst-diktering er imponerende, men det er først relativt for nylig, at generel talegenkendelse er blevet god nok til almindelig brug - Apples Translate-app er et godt eksempel. Introduceret i iOS 15 tilbyder den lydoversættelser i re altid. Hvis vi stadig tog på udenlandsferier, ville det være perfekt.
Nu bruger vi video mere og mere til arbejdet og for at holde kontakten med venner og familie. Uanset hvordan vi arbejder i fremtiden, er barrieren for videoopkald blevet grundigt smadret. Det er nu et almindeligt værktøj, men det mangler meget af finessen ved skriftlige kommunikationsværktøjer.
Noget som Navi, der tilbyder undertekster og oversættelse i re altid, kunne være væsentligt. Tilgængelighed er ét aspekt, men evnen til at tale med mennesker, hvis sprog du ikke taler, åbner op for international forretning i en overraskende grad.
I Action
Jeg testede Navi med app-udvikler, forfatter og høreapparatbruger Graham Bower. Det er ret godt, men endnu ikke klar til kritiske opgaver. Nogle af transskriptionerne var komisk dårlige og for vulgære til at berette. Som vores samtale fortsatte, blev det dog meget bedre til præcist at genkende hans tale. Det giver mening, fordi iOS-dikteringsmaskinen tilpasser sig din stemme over tid.
Oversættelsen virkede også, selvom kvaliteten af dens oversættelser afhænger af inputtets nøjagtighed.
Det er nemt at projicere denne form for teknologi ind i fremtidige Apple-briller eller hvilket som helst rygtet AR/VR-produkt, der arbejder på i denne uge.
"Jeg kan se, at dette virker i AR-briller," sagde Bower under vores samtale. "Nogle mennesker, selv med normal hørelse, foretrækker undertekster i film. Dette ville være som undertekster i det virkelige liv."
Mens en imponerende teknologisk demo er Navi der ikke endnu. For pålidelig forretningsbrug skal Apples første talegenkendelse blive meget mere nøjagtig. Men hastighedsmæssigt er det fint, og oversættelserne er så gode som nogen.
Men vi er på vej nu, og den slags vil kun blive bedre.
