Van nieuwsgroepen tot torrents: de geschiedenis van downloaden en spotten

Wie tegenwoordig spreekt over downloaden, denkt al snel aan torrents, streamingdiensten, cloudopslag of directe downloads. Maar de geschiedenis van het uitwisselen van digitale bestanden begon veel eerder. Lang voordat het World Wide Web groot werd, bestond er al een wereldwijd netwerk waarin gebruikers berichten, bestanden en informatie met elkaar deelden: Usenet.

Uit dat vroege netwerk ontstonden de zogenoemde binary newsgroups. Later kwamen daar onder meer FTP, peer-to-peer-netwerken en BitTorrent bij. In Nederland kreeg vooral Usenet een eigen cultuur rond het vinden en delen van bestanden. Een belangrijk onderdeel daarvan was FTD (FTD.nu), waar gebruikers elkaar via zogenaamde spots wezen op materiaal dat op Usenet te vinden was.

De geschiedenis van deze technieken is tegelijkertijd een geschiedenis van een voortdurende technologische wedstrijd: zodra een bepaalde manier van verspreiden populair werd, ontstonden nieuwe juridische, technische en commerciële manieren om het aanbod te beperken.

1. Het begin: Usenet vóór het tijdperk van het web

Usenet ontstond rond 1979 uit een idee van Tom Truscott en Jim Ellis van Duke University, samen met Steve Bellovin van de University of North Carolina. Het doel was oorspronkelijk helemaal niet het verspreiden van films of muziek. Men wilde Unix-computers met elkaar laten communiceren en berichten tussen verschillende locaties uitwisselen.

De eerste verbindingen liepen via UUCP (Unix-to-Unix Copy Protocol) en telefoonlijnen. In 1980 waren er nog maar enkele systemen aangesloten. Daarna groeide het netwerk snel en ontstonden steeds meer thematische newsgroups.

Usenet werkte anders dan het latere World Wide Web. Er was geen centrale website waarop alle informatie stond. Berichten werden tussen nieuwsservers verspreid. Een gebruiker maakte verbinding met een nieuwsserver en kon daar berichten in verschillende nieuwsgroepen lezen en plaatsen.

Dat gedecentraliseerde karakter zou later een belangrijke eigenschap blijken.

2. Van tekstberichten naar binaries

Oorspronkelijk was Usenet vooral bedoeld voor tekst. Maar gebruikers wilden al snel meer delen dan alleen berichten. Afbeeldingen, programma's en andere bestanden moesten via hetzelfde systeem kunnen worden verspreid.

Daarvoor werden bestanden eerst gecodeerd naar een vorm die geschikt was om als Usenet-artikelen te worden verstuurd. Een groot bestand werd daarbij in veel kleinere delen opgesplitst. De ontvanger kon die delen vervolgens weer samenvoegen tot het oorspronkelijke bestand.

Zo ontstond de wereld van de binary newsgroups.

De bekende alt.binaries-hiërarchie werd in 1991 formeel opgebouwd rond binary-bestanden. alt.binaries.pictures was een belangrijk vroeg voorbeeld.

Vanaf dat moment ontwikkelde Usenet zich naast discussienetwerk ook tot een distributiesysteem voor bestanden.

Dat verklaart de term binaries: het ging niet meer alleen om tekstuele berichten, maar om berichten waarin gecodeerde binaire gegevens waren verwerkt.

Van handwerk naar automatisering

In de beginperiode was het verwerken van zulke bestanden relatief omslachtig. Naarmate de hoeveelheid data toenam, ontstonden betere formaten en hulpmiddelen.

Bestanden werden in veel delen geplaatst en kregen informatie waarmee een nieuwsreader ze weer kon samenstellen. Later werden technieken zoals yEnc populair om binaire data efficiënter te transporteren. Ook herstelbestanden, zoals PAR/PAR2, werden belangrijk: daarmee konden ontbrekende of beschadigde delen soms worden gereconstrueerd.

Het resultaat was een systeem waarin grote bestanden niet als één download hoefden te bestaan. Ze konden worden verspreid over tientallen, honderden of zelfs duizenden afzonderlijke Usenet-artikelen.

3. De opkomst van commerciële Usenetdiensten

Toen internetverbindingen sneller werden en consumenten toegang kregen tot Usenet, ontstond een nieuwe markt.

Gebruikers konden een abonnement nemen bij een Usenet-provider. Die provider gaf toegang tot nieuwsservers waarop berichten gedurende een bepaalde periode beschikbaar bleven.

Daarmee veranderde Usenet geleidelijk van een technisch netwerk voor voornamelijk academische en hobbyistische communicatie in een infrastructuur die ook door consumenten werd gebruikt.

Een belangrijk begrip werd retentie: hoe lang een provider artikelen bewaart.

Hoe langer de retentie, hoe groter de kans dat oudere berichten en bestanden nog beschikbaar zijn.

Daarnaast werd compleetheid belangrijk. Een groot bestand bestaat uit veel afzonderlijke delen. Als delen ontbreken, kan het bestand niet altijd volledig worden hersteld. Providers gingen daarom concurreren op onder meer snelheid, retentie en volledigheid.

4. Het probleem: hoe vind je iets in miljoenen berichten?

Daarmee ontstond een nieuw probleem.

Het bestand kon technisch gezien op Usenet staan, maar hoe wist een gebruiker waar?

Het antwoord kwam in verschillende vormen.

Aanvankelijk konden gebruikers rechtstreeks in nieuwsgroepen zoeken. Later ontstonden gespecialiseerde indexen en zoekmachines. Een belangrijke ontwikkeling was het NZB-bestand.

Een NZB is geen film, muziekbestand of programma. Het is in essentie een beschrijving van welke Usenet-artikelen nodig zijn om een bepaalde post te verzamelen.

Daarmee veranderde het zoeken fundamenteel.

In plaats van duizenden afzonderlijke berichten te moeten opsporen, kon een gebruiker een NZB gebruiken als een soort routebeschrijving voor een downloadprogramma.

De combinatie werd daardoor ongeveer:

Usenet-server → nieuwsgroep → artikelen → NZB → downloadprogramma → samengesteld bestand

Dit maakte Usenet veel toegankelijker.

5. Spotten: de Nederlandse Usenet-cultuur

In Nederland ontstond vervolgens een eigen laag boven op deze techniek: het spotten.

Een spot was in de praktijk een bericht waarmee een gebruiker andere gebruikers wees op materiaal dat ergens op Usenet beschikbaar was.

De rechtbank beschreef FTD later heel concreet: gebruikers vermeldden onder andere de titel van het materiaal en de nieuwsgroep(en) waarin het te vinden was. Een spot was daarbij geen torrent, hash, magneetlink of directe hyperlink naar het bestand.

Dat verschil is belangrijk.

Een spot was oorspronkelijk vooral informatie over een vindplaats.

FTD functioneerde daarmee als een soort sociale catalogus boven op het enorme en moeilijk doorzoekbare Usenet.

Gebruikers konden bijvoorbeeld aangeven:

• wat er was geplaatst;
• in welke nieuwsgroep het stond;
• onder welke naam het materiaal was gepost;
• welke eigenschappen het bestand had;
• en wat andere gebruikers ervan vonden.

Daarom was FTD meer dan alleen een zoekmachine. Het was een gemeenschap.

6. FTD: van community naar juridisch strijdtoneel

In Nederland werd FTD het bekendste platform rond deze vorm van Usenetgebruik.

De kracht van FTD zat juist in het combineren van menselijke kennis met de technische infrastructuur van Usenet.

Usenet zelf was enorm. FTD maakte het overzichtelijker.

De juridische discussie draaide vervolgens om de vraag: wat betekent het wanneer een platform structureel verwijst naar materiaal waarvan een aanzienlijk deel zonder toestemming op Usenet staat?

Stichting BREIN stelde dat FTD daarmee het ongeautoriseerd uploaden en downloaden faciliteerde.

De zaak was juridisch interessant omdat FTD de bestanden niet zelf op haar servers had staan.

De rechtbank Haarlem maakte in 2011 dan ook een belangrijk onderscheid. Een spot was geen directe link naar het bestand en FTD maakte de beschermde bestanden niet zelf openbaar. Toch oordeelde de rechtbank dat FTD door haar structurele werkwijze onrechtmatig handelde jegens de door BREIN vertegenwoordigde rechthebbenden. De rechtbank wees daarbij onder meer op het systematische karakter en het faciliteren van illegale uploads.

Dat is een belangrijk nuancepunt in de geschiedenis:

FTD werd niet simpelweg verboden omdat het een website met bestanden was. De juridische discussie ging juist over de rol van een platform dat gebruikers structureel hielp om ongeautoriseerd aanbod te vinden.

7. Het einde van FTD

Na de juridische strijd kwam er een einde aan FTD.

Op 1 maart 2011 stopte FTD met zijn activiteiten. Ook andere Nederlandse Usenetgemeenschappen en portals kwamen onder druk te staan.

Voor veel Nederlandse gebruikers betekende dit een duidelijke overgang.

Het oude model was:

Usenet + community + spots + NZB

De techniek van Usenet verdween echter niet. Alleen het sociale middelpunt veranderde.

Gebruikers weken uit naar andere fora, indexers, internationale diensten en alternatieve manieren om bestanden te vinden.

Dat patroon zou zich gedurende de hele geschiedenis van filesharing blijven herhalen. De ironie van de geschiedenis is dat het alternatief vrijwel onmiddellijk klaarstond.

Spotnet.

Spotnet bouwde voort op het concept van spots, maar de technische architectuur was anders.

Waar FTD werkte met een centrale database, werden Spotnet-spots in nieuwsgroepen opgeslagen. Daardoor werd de informatie over spots veel minder afhankelijk van één centrale website.

Dat was technisch gezien een belangrijk verschil.

De centrale vraag was:

Kun je een community uitschakelen door de database uit te schakelen wanneer de database zelf onderdeel van het netwerk wordt?

Het antwoord bleek moeilijker te geven. Spotnet groeide razendsnel.

Tweakers meldde in maart 2011 dat volgens de ontwikkelaar dagelijks ongeveer 200.000 gebruikers samen meer dan 2,5 miljoen spots bekeken. Die cijfers kwamen van de ontwikkelaar en moeten daarom als gebruikersclaim worden gelezen, niet als onafhankelijke meting.

De overgang was duidelijk:

FTD was centraal.
Spotnet was veel decentraler.

8. Tegelijkertijd ontstond een andere revolutie: peer-to-peer

Terwijl Usenet zich ontwikkelde, ontstond een andere manier om bestanden te verspreiden: peer-to-peer (P2P).

Bij klassieke downloads kwam een bestand in principe vanaf één server naar de gebruiker.

Bij P2P konden gebruikers bestanden rechtstreeks met elkaar uitwisselen.

Dat principe werd vanaf het einde van de jaren negentig bekend door systemen zoals Napster, gevolgd door onder andere eDonkey, Kazaa en andere P2P-netwerken.

Maar de grote technische doorbraak kwam met BitTorrent.

9. BitTorrent: downloaden en uploaden tegelijk

BitTorrent werd ontwikkeld door Bram Cohen. Het protocol is ontworpen om grote bestanden efficiënt tussen veel gebruikers te verspreiden. In plaats van dat iedere gebruiker het volledige bestand van één centrale server haalt, wordt een bestand in stukken verdeeld.

Gebruikers downloaden verschillende stukken en delen tegelijkertijd de stukken die zij al hebben met andere deelnemers.

Daardoor ontstaat een netwerk van peers.

De officiële BitTorrent-specificatie beschrijft precies dit voordeel: wanneer meerdere mensen hetzelfde bestand downloaden, kunnen zij de data onderling aan elkaar doorgeven, waardoor de oorspronkelijke bron veel minder zwaar wordt belast.

De basisgedachte kan eenvoudig worden weergegeven:

klassieke download

server → gebruiker

BitTorrent

peer ↔ peer ↔ peer ↔ peer

Een gebruiker die een bestand volledig heeft binnengehaald, kan vervolgens als seeder verder delen. Een gebruiker die nog aan het downloaden is, wordt doorgaans een leecher genoemd.

10. Torrents en indexers

Ook BitTorrent had een vindbaarheidsprobleem.

Een torrentbestand bevat vooral informatie die een BitTorrent-client nodig heeft om het juiste materiaal en de bijbehorende peers te vinden. Het torrentbestand zelf hoeft dus niet hetzelfde te zijn als het uiteindelijke mediabestand.

Daarom ontstonden websites die torrents indexeerden.

Een van de bekendste voorbeelden werd The Pirate Bay.

Daarmee ontstond een structuur die in veel opzichten leek op wat bij Usenet was gebeurd:

netwerk → bestanden → index → community → gebruikers

Het technische mechanisme was echter anders.

Bij Usenet staat het bestand bij een nieuwsserver en wordt het via nieuwsartikelen opgehaald.

Bij BitTorrent wordt het bestand door peers onderling verspreid.

11. BREIN verlegt de aandacht

Stichting BREIN speelde in Nederland een belangrijke rol in de juridische strijd rond beide ecosystemen.

BREIN richtte zich niet uitsluitend op individuele downloaders, maar vooral op websites, diensten en tussenpersonen die volgens de organisatie grootschalige auteursrechtinbreuk faciliteerden.

In de periode rond FTD en BitTorrent werden daarom verschillende soorten diensten aangepakt: Usenet-indexers, torrentindexers, websites met verwijzingen en andere platforms.

BREIN beschreef in haar eigen jaaroverzicht bijvoorbeeld rechtszaken tegen onder meer FTD, Mininova, The Pirate Bay en Usenet-dienstverlener News-Service Europe.

De juridische strategie had daarmee een bredere werking dan alleen het sluiten van één website.

Wanneer een belangrijke indexer verdween, moesten gebruikers op zoek naar een andere manier om hetzelfde netwerk te bereiken.

12. De belangrijke Nederlandse omslag van 2014

Een van de grootste veranderingen kwam echter niet door de sluiting van een bepaalde website, maar door een uitspraak van het Hof van Justitie van de Europese Unie in 2014.

Tot dat moment kende Nederland een bijzondere situatie.

Voor bepaalde auteursrechtelijk beschermde werken bestond binnen de Nederlandse thuiskopieregeling ruimte om voor privégebruik te kopiëren, ook wanneer de bron ongeautoriseerd was. Dat gold bovendien niet voor software en games.

In de zaak ACI Adam oordeelde het Europese Hof dat een uitzondering voor privékopieën niet mag worden toegepast op kopieën uit een ongeautoriseerde bron.

Daarmee veranderde de Nederlandse situatie fundamenteel.

Sindsdien geldt in Nederland als uitgangspunt dat auteursrechtelijk beschermd materiaal uit een illegale of ongeautoriseerde bron niet mag worden gedownload.

Dat was een belangrijk verschil met de situatie waarin FTD groot was.

13. Wat veranderde er daardoor?

De gevolgen waren groter dan alleen een wijziging in de juridische positie van de downloader.

Ook diensten die het vinden of toegankelijk maken van ongeautoriseerd materiaal eenvoudiger maakten, kwamen sterker onder juridische druk te staan.

Dat past in een ontwikkeling die al eerder zichtbaar was.

De juridische aandacht verschoof steeds vaker van:

"Wie heeft het bestand?"

naar:

"Wie organiseert, indexeert of faciliteert de toegang?"

Dat verklaart waarom indexers en platforms zo belangrijk werden in rechtszaken.

Een website hoefde niet noodzakelijk zelf een film, muzieknummer of boek op zijn eigen server te hebben staan om juridisch relevant te worden.

De Europese rechtspraak over platforms en hyperlinks ontwikkelde zich verder, onder meer in zaken over The Pirate Bay. Het Hof van Justitie oordeelde in 2017 dat het bewust indexeren en beschikbaar maken van torrentbestanden door een platform een handeling kan vormen die gebruikers toegang geeft tot auteursrechtelijk beschermd materiaal.

14. Van FTD naar het huidige model

De geschiedenis laat daardoor een opvallende evolutie zien.

Fase 1 — Usenet

Bestanden worden op nieuwsgroepen geplaatst.

Probleem: hoe vind je ze?

Fase 2 — Binary newsgroups

Grote bestanden worden opgesplitst in veel artikelen.

Probleem: hoe zet je die artikelen weer samen?

Fase 3 — NZB

NZB-bestanden maken het mogelijk om de juiste artikelen efficiënt te verzamelen.

Probleem: hoe weet je welke NZB je moet hebben?

Fase 4 — FTD en spotten

Een Nederlandse community maakt het aanbod vindbaar en bespreekbaar.

Probleem: de community wordt juridisch gezien als facilitator van ongeautoriseerd aanbod.

Fase 5 — BitTorrent

Bestanden worden niet meer vanuit één server geleverd, maar tussen gebruikers uitgewisseld.

Probleem: hoe vind je torrents en hoe bereik je de juiste peers?

Fase 6 — Torrentindexers en gespecialiseerde zoekdiensten

Websites nemen de rol van catalogus over.

Probleem: indexers worden zelf onderwerp van juridische procedures.

Fase 7 — Streaming en moderne platformen

De gebruiker hoeft steeds minder zelf een bestand te downloaden. De technologie verschuift van bestand bezitten naar direct toegang krijgen tot content.

Daarmee verandert ook de juridische discussie.

15. Wat was de invloed van BREIN?

Het zou te simpel zijn om te zeggen dat BREIN "het downloaden heeft gestopt".

Dat is historisch niet wat er gebeurde.

De invloed van BREIN moet eerder worden gezien als onderdeel van een langdurige verschuiving in het ecosysteem.

Door sommatiebrieven, rechtszaken en procedures tegen tussenpersonen werden bepaalde Nederlandse platforms gesloten of gedwongen hun werkwijze aan te passen. FTD is daarvan een duidelijk voorbeeld. Ook torrent- en Usenetdiensten kwamen onder juridische druk te staan.

Daarmee veranderde niet noodzakelijk de onderliggende techniek.

Usenet bleef bestaan.

BitTorrent bleef bestaan.

P2P-technologie bleef bestaan.

Wat veranderde, waren vooral de plaatsen waar gebruikers elkaar vonden, de indexen die zij gebruikten en de juridische risico's voor partijen die ongeautoriseerd aanbod structureel toegankelijk maakten.

Een mooi voorbeeld is The Pirate Bay. In de Nederlandse rechtszaken verschoof de discussie uiteindelijk naar de vraag of een platform dat zelf niet noodzakelijk de bestanden host, maar wel torrents indexeert en gebruikers toegang geeft tot het delen ervan, juridisch verantwoordelijk kan zijn. Het Europese Hof bevestigde in 2017 dat zo'n platform onder omstandigheden een mededeling aan het publiek kan verrichten.

16. De erfenis van het oude downloadtijdperk

De geschiedenis van torrents en nieuwsgroepen gaat daarom over veel meer dan "gratis films downloaden".

Het is ook de geschiedenis van een aantal belangrijke internetideeën:

• decentralisatie;
• informatievrijheid;
• peer-to-peercommunicatie;
• efficiënte bestandsoverdracht;
• online communities;
• indexering en zoektechnologie;
• en de voortdurende spanning tussen technologische innovatie en auteursrecht.

FTD was in dat verhaal bijzonder omdat het een typisch Nederlands voorbeeld was van hoe techniek en gemeenschap samenkwamen.

Usenet leverde de infrastructuur. NZB maakte het technisch eenvoudiger. FTD maakte het sociaal vindbaar.

De juridische strijd rond FTD maakte vervolgens duidelijk dat ook een platform dat zelf geen bestanden host, onder omstandigheden juridisch verantwoordelijk kan worden gehouden voor de manier waarop het de toegang tot ongeautoriseerd aanbod organiseert.

Daarna verschoof het speelveld opnieuw naar torrents, indexers, streaming en uiteindelijk naar de legale abonnementsdiensten die tegenwoordig een groot deel van de digitale distributie verzorgen.

17. De grote lijn

Als er één les uit deze geschiedenis valt te trekken, is het deze:

De techniek verdwijnt meestal niet wanneer één website verdwijnt. De infrastructuur verandert, de vindplaatsen veranderen en de gebruikers verplaatsen zich.

Van de eerste Usenet-berichten in 1979 naar binary newsgroups, NZB's, FTD, torrents, indexers en streaming loopt één duidelijke technologische ontwikkeling: het steeds gemakkelijker maken om digitale informatie te vinden en te verspreiden.

Tegelijkertijd liep daar een tweede ontwikkeling naast: rechthebbenden en organisaties zoals Stichting BREIN probeerden steeds opnieuw de punten aan te pakken waar dat systeem het meest afhankelijk van was.

Eerst waren dat bestanden en uploaders. Daarna werden het indexers. Vervolgens platforms en tussenpersonen.

En uiteindelijk ook de infrastructuur die toegang tot bepaalde diensten mogelijk maakte.

De geschiedenis van downloaden is daarmee uiteindelijk geen verhaal van één technologie, maar van een voortdurende wisselwerking tussen techniek, gebruikersgemeenschappen, commerciële belangen en auteursrecht.

Door: Drifter