Op de afdeling video-algoritmes van Netflix werken elf mensen, waarvan zeven met een doctoraat. Hun enige taak is om ervoor te zorgen dat Netflix-video’s er zo goed mogelijk uitzien met zo min mogelijk dataverbruik.
Daarbij wordt veel gekeken naar bitrates, oftewel de hoeveelheid data die per seconde wordt verbruikt bij het afspelen van een video. Een mooie HD-video heeft een hoge bitrate, waardoor er veel data wordt verstookt. Een lagere beeldkwaliteit vereist een lage bitrate.
Daar had het bedrijf al eens een kleine doorbraak mee, aldus Netflix-productbaas Todd Yellin in gesprek met NU.nl. Bij de animatieserie Bojack Horseman besefte het videoteam dat simpel ogende series er met een lage bitrate alsnog indrukwekkend uitzien.
“Je hebt dan HD-beeld met veel minder bits dan bij series vol met explosies of mensen die van gebouwen springen”, zegt Yellin. “Dan kun je zelfs met weinig bandbreedte een aflevering van Bojack Horseman streamen in HD.”
Door onderscheid te maken tussen simpel ogende en complexere series, kon Netflix per bestand de grootte optimaliseren. Een simpele animatiefilm verbruikt daarom minder data, terwijl een aflevering van actieserie Luke Cage meer vereist.
Barbie
Dat proces werkte volgens Yellin alleen niet altijd: “We maken bijvoorbeeld een animatieserie over Barbie. Aan het einde van iedere aflevering verspreidt ze glitter door de kamer, waardoor de video veel complexer wordt.”
De videodienst gebruikt een hogere bitrate om Barbie te verwerken, maar hierdoor verbruiken streams van de animatieserie meer data dan andere geanimeerde programma’s. Dat terwijl de serie grotendeels niet zo’n hoge bitrate vereist.
Shot voor shot
Netflix wil vanaf deze zomer alle films en series shot voor shot gaan analyseren, zodat ieder moment anders kan worden verwerkt. Een shot van een acteur met een witte achtergrond zal hierdoor minder MB’s per seconde vereisen dan een complexe camerabeweging over een drukke stad.
De Barbie-serie is daar volgens Yellin een goed voorbeeld van: “Wat als we Barbie encoderen als een gewone animatieserie, maar die glitterscène op het einde met een hogere bitrate verwerken?”
De hoeveelheid verbruikte data door een stream moet hierdoor aanzienlijk worden verlaagd. Een ouderwets geëncodeerde video op hoge kwaliteit verbruikt bijvoorbeeld 555 KB per seconde. Bij gebruik van de nieuwe shot-voor-shot-methode, zou een video van dezelfde kwaliteit nog maar 277 KB per seconde verbruiken.
Wie de video’s bekijkt op een televisie, ziet wel een duidelijk kwaliteitsverschil. De technologie is daarom ook specifiek bedoeld voor smartphones, die vaak te maken hebben met tragere netwerken en beperkte databundels. Yellin hoopt dat de optie over vier of vijf maanden naar iOS en Android komt, maar wil nog geen harde datum geven. “We werken er aan en het komt zodra het klaar is.”
Dat betekent overigens niet dat je meer kunt Netflixen met dezelfde databundel. Het bedrijf wil de nieuwe techniek vooral ook gaan gebruiken om video’s met de huidige bandbreedte mooier te maken, zonder dat je meer data verbruikt.
Machine learning
Zodra de functie beschikbaar komt, zullen alle films en series op Netflix gebruikmaken van de nieuwe technologie. Nogal een klus, aangezien Netflix wereldwijd inmiddels duizenden video’s beschikbaar heeft. Het bedrijf zegt dat de volledige Netflix-bibliotheek honderdduizenden shots bevat.
Er wordt daarom gebruikgemaakt van kunstmatige intelligentie om shots te onderscheiden. “We hebben onderzoek op een paar universiteiten gefinancierd”, zegt Yellin. “Met hen hebben we een meetmethode ontwikkeld.”
“Op de universiteiten werden honderden gewone mensen ondervraagd, die meerdere shots een cijfer tussen de één en vijf moesten geven. Door de data hiervan vervolgens aan een algoritme te geven, leert een computer via machine learning om simpele en complexe scènes van elkaar te onderscheiden.”
Door dit algoritme iedere scène te laten analyseren, kan de computer vrij snel bepalen waar welke bitrate gebruikt moet worden. Daar komt geen mens aan te pas.
Vaker downloaden
Het Netflix-team introduceerde onlangs nog een downloadfunctie, waarmee films en series op de smartphone bewaard kunnen worden. Hierdoor is het mogelijk om video’s via wifi te downloaden, zodat er onderweg geen mobiele data wordt verbruikt.
Op het moment kan slechts een deel van de Netflix-bibliotheek worden gedownload, maar Yellin zegt dat dit aanbod op termijn zal worden uitgebreid.
“We proberen het een voorwaarde te maken bij onderhandelingen over nieuwe programma’s, dat ze ook ter download beschikbaar gesteld moeten worden. Daarnaast onderhandelen we met licentiehouders waarvan we nu al materiaal hebben om te zien of dit alsnog kan.”