Ein Wort zur Bandbreite

Viele von Euch beklagen die derzeit supoptimalen Downloadzeiten von chaosradio.ccc.de und ich kann das auch nachvollziehen. Ich hatte ja auch schon vor einiger Zeit darauf hingewiesen, dass es eben für einige Zeit Probleme geben wird.

Wir haben auch schon verschiedene Maßnahmen in Angriff genommen, aber aus vielen organisatorischen und privaten Gründen, die ich hier nicht näher erläutern möchte, wird es einfach noch ein bisschen dauern. Zu den Maßnahmen gehört die Verdoppelung bzw Wiederherstellung unseres Uplinks auf 200 Mbit/s und der Umzug auf einen neuen Server, da der alte langsam den Anforderungen nicht mehr gerecht wird und ihm auch der Platz ausgeht.

So einige schreien hier auch wiederholt nach BitTorrent: Ihr könnt aufhören zu schreien, denn die Botschaft ist schon lange angekommen. Allerdings gehen wir die Sache etwas umfangreicher an und ich werde hier auch kurz erläutern, warum und was wir konkret vorhaben, auch wenn das eigentlich nicht meine Art ist, vor dem Ei zu gackern. Macht schlechtes Karma.

Hier unsere Motivation und geplante Vorgehensweise:

  1. Damit ein BitTorrent-Angebot dauerhaft glücklich macht muss man garantieren, dass auch immer ein Seeder verfügbar ist. Nichts nervt mehr als seederlose Torrents. Das bedeutet, dass wir ein System brauchen, dass diesen Seeder möglichst automatisch aktiviert und sicherstellt, dass die Datei immer angeboten wird – auch wenn die Nachfrage auf null gesunken ist. Das muss geschaffen werden.
  2. Dazu kommt, dass einem mit BitTorrent leicht die Download-Statistiken abhanden kommen. Für Euch mögen die Statistiken unwichtig sein, für uns sind sie die Essenz. Wenn man kein Gefühl dafür bekommt, wie gut ein Angebot angenommen wird, weiß man nicht so recht, für wen man das überhaupt macht. Wenn man spürt, dass ein Thema mehr Interesse nach sich zieht, ist das eben eine sehr wichtige Information. Kommentare und E-Mails zu den Sendungenen sind natürlich auch sehr wichtig, doch reichen sie alleine nicht aus und bilden auch ein anderes, spezielleres Interesse ab.
  3. Also muss man sicherstellen, dass man auch bei einem Angebot via BitTorrent auch die Statistiken mitführt. Dazu ist es erforderlich einen eigenen Tracker zu betreiben, der die von den ladenden Clients zurückgemeldeten Erfolgsmeldungen einsammelt und der Statistik hinzufügt. So ist allen geholfen: man hat die Wahl der Download-Methode und BitTorrent wird sicherlich bei Podcasts extrem performen (und dazu unsere Bandbreite schonen). Andererseits hat man die Rückmeldungen der getätigten Downloads. Mit ein bisschen mehr Aufwand wird alles gut.
  4. Last but not least soll neben dem Standard-Podcast-Feed noch ein Torrent-Podcast-Feed angeboten werden, wie er z.B. von Miro oder Juice unterstützt wird. Dann ist der Vorgang genauso seamless wie mit iTunes nur mit dem Vorteil, dass es für alle schneller geht.

Soweit der Plan. Jetzt sind wir natürlich in Zugzwang, weil wir gegackert haben. Aber Chaosradio ist ein Freizeit-Projekt, daher bitte ich um Nachsicht, wenn es nicht so schnell geht, wie es sich alle wünschen. Wir freuen uns natürlich sehr über die massiv angestiegene Nachfrage der letzten zwei Monate (wir verzeichnen eine Verdoppelung des Traffics) und wollen es auch allen recht machen. Aber wir wollen es auch uns recht machen, das muss drin sein. Vielleicht misslingt unser Plan ja auch, who knows?

Wenn es am Ende gut läuft, werden wir das Setup auch gerne anderen zur Verfügung stellen, denn es lässt sich als genereller Torrentifier für Podcasts verwenden und soll vor allem eine Podcast-gerechte Tagesstatistik für die Podaster bereitstellen.

Noch ein Wort zu Mirrors, die ja immer wieder angeboten werden. Hier ist es schwierig ist, die eigenen Qualitätsstandards in bezug auf Statistiken und Privacy (z.B. kein IP-Logging) sicherzustellen. Ein Mirror schafft spürbar mehr Arbeit (ich sag nur einheitliche MIME Types und stabile Pfade) und zusätzliche Risiken (wen soll man nachts anrufen, wenn der Mirror stirbt?). Ich hatte alle diese Probleme bisher bei jedem einzelnen Mirror jedes Mal. Nervt und macht nur Arbeit. Dazu kommt, dass ich auf Mirros nicht meine Statistik-Tools laufen lassen kann. Und so weiter und so fort. Macht nicht glücklich.

So. Nun wünscht uns einfach ein wenig Glück und gebt uns die nötige Ruhe und Zeit. Wir wissen, wie wir das alles realisieren können und haben einen Plan. Vielleicht geht er ja auf :)

Dieser Beitrag wurde unter Intern veröffentlicht. Setze ein Lesezeichen auf den Permalink.

31 Antworten auf Ein Wort zur Bandbreite

  1. 8jean sagt:

    Danke Tim für das Update. Das hört sich doch mal großartig an!

  2. smo sagt:

    Ich finde die momentan etwas zu geringe Bandbreite nicht wirklich problematisch. Dafür habe ich doch den Feed abonniert: Damit er im Hintergrund ohne meine Zutun geladen wird. Irgendwann ist er dann halt mal fertig. ;)
    Aber der Plan klingt trotzdem gut.

    Ach, und Tim: Vielen Dank für die hohe Podcasting-Frequenz und die Themenvielfalt, ich komme kaum nach mit dem Hören. Echt klasse, das Angebot!

    smo

  3. mwoa sagt:

    Da vergisst du ein bischen die Eigendynamik des Webs. Ich hab die letzten zwei Folgen einfach bei Piratebay gegrabbed, ohne Rücksicht auf deine Statistik ;)

    Einfach schnell den Trecker hinstellen, um das Problem mit einem immer verfügbaren Seeder kann man sich dann auch noch die Wochen später kümmern. Dann wandert zumindest keine kritische Masse zu anderen Trackern ab.

    Reicht ja schon fast nur die neusten paar Folgen als Torrent zu haben, bei den alten ist durch die Abwesenheit zahlreicher Peers und Seeder dann ja eh der Vorteil weg.

    Ergo: der Fahrradschuppen sollte grün gestrichen werden.

  4. oscar sagt:

    Ich weiß zwar das Vorbis bereits wegen wahrscheinlich geringer Nachfrage abgelehnt wurde, ich schlag aber trotzdem mal einen alternativen Feed mit Speex[1] vor. Das würde auch Bandbreite schonen und ausserdem Chaosradio für mehr Menschen (mit Schmalband-Anschlüssen) zugängig machen. Die Vorträge der linux.conf.au stehen auch in dem Format in vernünftiger Qualität zur Verfügung und dabei benötigen sie nur 5 MB pro Stunde.

    [1]http://www.speex.org
    [2]http://linux.conf.au/programme/presentations

  5. Valou sagt:

    Viel Erfolg. Nach so einem Briefing warte ich gerne.

  6. Tim Pritlove sagt:

    @mwoa: Der Schuppen musst rot gestrichen werden!

    Der Plan ist ja eine Reaktion auf diese mir wohl vertraute Eigendynamik. Aber jeder halbherzige Torrentaktion jetzt bedeutet für mich einfach zusätzliche Arbeit und da kommt es derzeit für mich auf jede 10 Minuten an, so doof das klingt.

    Ich wäre halt froh, wenn die Sendungen nicht auf Pirate Bay landen würden, weil es ja eigentlich egal ist, wie schnell die Dateien übertragen werden und mir so nur Stats verloren gehen. Dass ich es Euch nicht vorschreiben und schon gar nicht verhindern kann ist mir natürlich auch klar.

  7. msd sagt:

    Verstehe ich richtig, dass man die CCC-Podcasts vorläufig nicht schneller downloaden kann, weil nur die aktuelle (und eher langsame) Downloadvariante dem CCC das Sammeln von Daten ermöglicht? :>

    Wasser predigen, Wein trinken … eigentlich müsste der CCC ja einen SSL-Download via Anonymizer, usw. anbieten … ;)

  8. Valou sagt:

    Die Vorratsdatenspeicherung der Bundesregierung mit den Web- und Downloadstatistiken vom Chaos Computer CLub zu vergleichen ist absurd.

  9. Sebastian sagt:

    Hallo Tim!

    Falls das noch nicht gemacht wurde, wäre es vielleicht ganz sinnvoll, irgendwann einmal eine kleine Online-Umfrage zum Hörverhalten zu machen, um wirklich recht genaue Statistik hochrechnen zu können. So kann man z.B. fragen, welcher Anteil der heruntergeladenen Dateien wirklich gehört wird, denn es soll je nach Podcast einen guten Anteil an Leuten geben, die zwar alle Podcasts laden, aber nur einen Teil davon hören.

    Überhaupt wäre das doch mal eine gute Möglichkeit, noch mehr Feedback zu bekommen.

  10. hammi sagt:

    ohne jetzt unbedingt tips zu geben die keiner braucht… aber was ist mit CRE002:coral CDN? wenn ich das noch richtig im kopf habe sollte das die trafic probleme lösen, und die statisktik immer nock io sein?!? (zumindest vorübergehend?!)

    viel erfolg und weiter so!! :)
    hammi

  11. Jetzt mal ehrlich…

    du nimmst das mit dem meckern zu ernst… Natürlich schreien wir alle nach Bandbreite und Torrents etc. Aber das soll dir nur zeigen wie sehr wir das CHAOS schätzen!

    Also lass dich von ein paar Spinnern die euch zuspammen nicht verrückt machen…

    Mfg Sebastian
    Podcast http://kabelwirtschaft.de
    BLOG http://datenmischer.de

  12. Peter sagt:

    Ich finds völlig ok dass keine vorübergehende Frickel-Lösung gemacht wird. Das bischen Warten auf den Download ist doch wirklich kein Problem. Verschwende deine Zeit lieber darauf weiterhin so guten Content zu machen wie bisher :-)

    Vielen vielen Dank dafür!!

  13. manka sagt:

    Schon echt erstaunlich und bewundernswert wie viel Mühe und Arbeit ihr euch doch macht!! Da ich die Folgen automatisch laden lasse wäre das in meinen Augen nicht nötig mit Torrent usw.. Aber trotzdem schön das ihrs macht… Und Tim, bei der Menge an Folgen die du momentan produzierst fällt es mir schwer glauben das dies nur ein Hobby von dir ist. Den Job möchte ich auch haben wo noch so viel Zeit für Rumreisen und Podcasts machen bleibt ;)

  14. Stefan sagt:

    Gibt echt lästigeres als nen langsamen download.
    Ich lade mit miro,und daher ist es egal ob es 5 minuten oder 5 stunden dauert.
    Gibt echt lästigeres.

    Bei den “undso´s” läuft mit miro gar nichts.

    Alos weiter so gute podcasts machen,der rest wird schon irgendwann.

  15. schrittmacher sagt:

    Hallo Tim,

    das der Tracker mitseeded hab ich mir auch schon mal eingebildet das des doch mal jemand machen sollte, also als Plattform. Wenn das vereinzelt die Groß3n machen, wie Blizzard oder so für Ihren content, dann find ich das geizig. Die ham schließlich die Kohle für dicke Leitungen, aber für den Rest des Webs dürfte das ruhig mal Standard werden.
    Zudem wird es auch für hilfsbereite Gemüter einfacher Projekte zu unterstützen (wie CRE), ohne einen Mirror aufzumachen. Einfach die Torrents laufen lassen find ich gut.

    Weiter so!

  16. Tim Pritlove sagt:

    @msd: Der Club bietet einen Download via Anonymizer an. Wir betreiben schließlich eigene Tor-Nodes.

  17. Tim Pritlove sagt:

    @Sebastian: So eine Hörerumfrage macht auch nur Arbeit :)

    Aber es geht mir auch nicht darum, die exakte Hörerzahl zu definieren. Da hilft einem letztlich keine Befragung der Statistik weiter.

    Aber die Download-Statistik lässt schon sehr klare Schlüsse zu, welche Sendungen gut ankommen und welche nicht. Bei einer Tages-Auswertung kann man zudem gut sehen, in welchen Wellen die Podcasts geladen werden und ggf. direkt die Auswirkung einer Erwähnung eines Podcasts in einem populären Blog oder anderen Medien sehen.

    Mit ein paar kleineren Tweaks sollte sich auch noch auseinanderhalten lassen, wo direkt via Webplayer, via Podcast-Client oder direktem Download über die Seite gearbeitet wurde.

    All das wird auch weiterhin ohne die Speicherung Eurer IP-Adressen erfolgen, wie Cryx schon mal ausgeführt hat. Alle Statistiken sind un bleiben anonym und dienen ausschließlich der Bewertung der Popularität der Sendungen (und damit der Themen) und der Befriedigung meines Egos.

  18. Honnel sagt:

    Ich bin froh, dass es den Podcast überhaupt gibt und dass sich jemand soviel Arbeit und Mühe macht!
    Die Bandbreite ist nicht die schnellste aber für mich kommt es nicht drauf an ob ich den Podcast am Release-Tag höre oder 2 danach.
    Nehmt euch die Zeit die ihr braucht, viel Glück dabei!

    Gruß Honnel

  19. torrent sagt:

    Wäre Webseed nicht eine Möglichkeit um das Seederproblem zu lösen? Das spart zumindest das deployen zusätzlicher Seed-Software.

    Ich weiß allerdings nicht wie es hier mit den Implementierungen in den Clients aussieht, da es wohl auch mehrere konkurrierende Specs für Webseeds gibt. Azureus z. B. hat die oben genannte Spec implementiert und verwendet Webseeds wenn die Verfügbarkeit < 1.0 ist.

    Auch weiß ich nicht wie sich das ganze auf die Server-Logs auswirkt, macht halt haufenweise Range-Requests.

  20. Tim Pritlove sagt:

    @torrent: Webseeding wäre toll, ist aber nicht weit verbreitet. Und es würde nur dann Sinn machen, wenn 100% aller Clients das auch unterstützen. So kann man sich eben nicht drauf verlassen und muss daher einen eigenen Seed anbieten. Ist ja auch kein Beinbruch.

  21. Stefan sagt:

    Wollt einfach mal nach dem status horchen,weil ich die Idee einfach ganz nett finde.

  22. Tobias sagt:

    Hi ich wollte mich auch mal erkundigen ….
    ich könnte eventuell auch ev ein paar resourcen bereit stellen ….

  23. Govinda sagt:

    Hi Tim,
    das ist jetzt zwei Jahre alt und noch immer keine Torrents ;)
    Aber kein Problem, das ist jammern auf sehr hohem Niveau!
    Danke für die Arbeit!

  24. catdog2 sagt:

    Schön zu hören, dass es vorran geht.

    Normalerweise stört es mich auch nicht, wenn es ein bisschen langsamer geht. Aber wenn da auf einmal ETA 5 Stunden steht, dann weicht man doch lieber auf Alternativlösungen aus.

    Is natürlich klar, dass sowas nicht von heute auf morgen geht, zumindest wenn man was anständiges auf die Beine stellen will.
    Aber an alle die sagen, “is ja nicht so schlimm”:
    Die Podcasts (großes Lob!) gehören wohl zu den besten hierzulande. Also kann man denk ich durchaus von noch mehr Hörern in nächster Zeit ausgehen und das heisst: irgendwann geht gar nix mehr.

    Also dann hoffe ich mal auf gleichbleibend hochwertigen Content und schnelle downloads, die die Statistik nicht kaputt machen.

  25. catdog2 sagt:

    Oh hätte nicht gedacht, dass das schon so alt ist…

  26. BlarM sagt:

    Punkt 1 und 4 sind mit dem Torrentfeed gelöst, da ich z.B. automatisch alles Verteile, dass auch in dem Torrentfeed vorhanden wäre.

  27. Pandur sagt:

    Warum benutzt ihr nicht einfach nyud.net (http://www.coralcdn.org/)? IIRC habt ihr darüber sogar schon berichtet.

    Die Statistiken könnt ihr immernoch einsammeln, indem ihr entweder:
    * die nyud-adressen per redirect austeilt
    * oder mal nachschaut, ob bei euch noch für jeden Download HEAD requests ankommen

  28. Pingback: BitTorrent und das Chaosradio Podcast Network at Chaosradio Blog

  29. Pingback: The Lunatic Fringe

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *