TechSpecs en OpenSubtitles willen een mediaspeler maken waarin automatisch ondertitels worden opgehaald of door AI worden gemaakt

De ontwikkelaars achter TechSpecs en OpenSubtitles werken aan een nieuwe mediaservice genaamd Ray, een platform dat automatisch ondertitels kan zoeken, synchroniseren en — indien nodig — met behulp van kunstmatige intelligentie zelf kan genereren. Het project richt zich op het toegankelijker maken van films, series en online video’s, zonder dat gebruikers handmatig naar geschikte subtitles hoeven te zoeken of bestanden hoeven te downloaden.

Ray wordt niet alleen uitgebracht als softwaredienst, maar ook als een fysieke mediaspeler onder de naam The Ray One. Daarnaast willen de makers ondersteuning bieden via browserextensies en applicaties voor Windows, Linux, macOS, Android en iOS. Daardoor moet de technologie bruikbaar worden op zowel televisies als computers, tablets en smartphones.

De kern van het systeem draait om automatische ondertiteling. Wanneer een gebruiker een film of serie afspeelt, analyseert Ray de content en probeert het systeem direct passende ondertitels te vinden via de uitgebreide database van OpenSubtitles, een van de grootste subtitleplatforms ter wereld. Vervolgens worden de ondertitels automatisch gesynchroniseerd en weergegeven, zonder dat gebruikers zelf bestanden hoeven te selecteren of timingcorrecties moeten uitvoeren.

Wanneer er geen geschikte ondertitels beschikbaar zijn, schakelt Ray over op AI-functionaliteit. In dat geval maakt het systeem zelf een transcriptie van de gesproken audio. Hiervoor gebruikt de software automatische spraakherkenning, waarbij dialogen in realtime of vrijwel realtime worden omgezet naar tekst. De makers hebben nog niet bekendgemaakt welke AI-modellen of taalmodellen hiervoor precies worden ingezet, maar duidelijk is dat Ray sterk leunt op moderne generatieve AI- en transcriptietechnologieën.

Volgens de ontwikkelaars moet Ray ook kunnen functioneren bij online videoplatformen. Via de browserextensie zou de software bijvoorbeeld YouTube-video’s kunnen analyseren door de audiostream van een video te verwerken en daar automatisch ondertiteling voor te genereren. Daardoor kan de dienst ook ondersteuning bieden bij video’s zonder bestaande captions of subtitles.

Een belangrijk onderdeel van het project is dat Ray zowel via de cloud als lokaal op apparaten kan draaien. Gebruikers kunnen dus kiezen tussen externe AI-verwerking of lokale verwerking op hun eigen computer. Voor lokale AI-functionaliteit gelden echter relatief hoge systeemeisen. Op Windows- en Linux-systemen adviseren de makers minimaal 16 GB werkgeheugen, terwijl 32 GB RAM wordt aanbevolen voor optimale prestaties, vooral wanneer AI-transcriptie of beeldanalyse lokaal wordt uitgevoerd.

De ontwikkelaars hebben daarnaast grotere ambities voor toekomstige versies van het platform. Onder de naam Cinema Mode willen zij AI-functies toevoegen die verder gaan dan alleen ondertiteling. Zo wordt gewerkt aan automatische audiodescriptie voor slechtzienden, waarbij scènes en visuele gebeurtenissen door AI worden beschreven tijdens het afspelen van een film of serie. Ook experimenteren de makers met zogeheten contentfilters. Daarmee zou Ray potentieel in staat zijn om gevoelige beelden automatisch te detecteren en aan te passen, bijvoorbeeld door naaktbeelden te vervagen of gewelddadige scènes minder expliciet te maken. Het is nog onduidelijk hoe nauwkeurig of betrouwbaar dergelijke filters uiteindelijk zullen functioneren.

Voor de financiering van het project is een crowdfundingcampagne gestart via Kickstarter. Die campagne bleek vrijwel direct succesvol: binnen één dag werd het oorspronkelijke financieringsdoel al ruim overschreden. Dat wijst op grote interesse vanuit gebruikers die eenvoudiger toegang willen tot automatische ondertiteling en AI-ondersteunde mediatoepassingen.

Volgens de huidige planning moet Ray later dit jaar beschikbaar komen. De eerste publieke release staat voorlopig gepland voor oktober, al is nog niet bekend welke functies direct beschikbaar zullen zijn en welke onderdelen pas in latere updates worden toegevoegd.

Door: Drifter