Verteiltes Dateisystem - Distributet File System - OFFSystem

[mira]

1. Das Dateisystem ist ganz offensichtlich (Stichwort glaubhafte Abstreitbarkeit) für illegalen Datenaustausch gedacht. Das hat OTR doch gar nicht nötig. OTR-Torrents sind legal, da der Inhalt verschlüsselt ist.

Das würde ich so nicht sagen, der Vorteil, wenn die Dateien auf diversen Maschienen aufgeteilt ist, ist der das du parallel von diversen Rechnern laden kannst, das macht das ganze um einiges schneller.

Die Zeiten von P2P sind vorbei, Speicherkapazitäten sind heute so günstig, dass die großen Mirrors die Daten ewig vorhalten können. Das einzige interessante an Torrents ist, dass man sich die Werbeklickerei spart.

Würde ich so auch nicht sagen, p2p ist nachwievor noch recht verbreitet, gerade auch bei Linux Distris. Ist meiner Meinung nach ein geniales System, was sich auch bestens bei otr eignen würde, leider aber wohl nicht wirklich von otr gewollt. Personalisierte RSS Feeds mit Serienguide usw... kann man viele tolle sachen machen und alles sehr gut automatisieren. Und wenn genügend Personen mitmachen kommt man an Datendurchsätze bei dem jeder normale http Download die Luft ausgeht (bei wesentlich weniger Traffic).

PS: Ist das korrekt, dass alle deine Links auf Localhost verlinken? Das würde bedeuten, dass man die Daten nur mit einer Spezialsoftware herunterladen kann, nicht aber via http.

Wenn ich das richtig verstehe funktioniert das ganze wohl ähnlich wie bei wuala.com, brauchst also ne extra Software.


lg

[sql-for-free]

Hallo MPW,

in Punkt 1 gebe ich dir recht, das OFFSystem ist ursprünglich für die illegale Verteilung von Daten gedacht, aber ist/war das beim Torrent System nicht genauso? Hier werden auch viele illegale Daten angeboten, doch gibt es auch ein legales Angebot wie von OTR.
Nur weil es ursprünglich mal für illegale Aktivitäten gedacht ist, sehe ich darin kein Hindernis, dass Programm für legale Downloads zu verwenden. Sicher bräuchte man die Eigenschaft der „glaubhafte Abstreitbarkeit“ nicht mehr, aber schaden tut es auch nicht.

Zu Punk 2: In der Theorie magst du evtl. recht haben, aber gerade die nicht ganz so beliebten Filme werden nicht so oft wiederholt.
Nehmen wir z.B. die Dokumentation:
Macht_der_Gedanken_13.10.31_01-40_3sat_30_TVOON_DE, hier findest du nur noch einen Link über otr.dwolp.de, mit nur einem Seeder und der bin ich. Wenn du die Datei jetzt herunterladen möchtest, musst du bestimmt 3 Tage warten bis du die Datei komplett geladen hast, da mein Client gut ausgelastet ist.
Das Projekt von Schwani kenne ich. Allerdings kenne ich mich aufgrund meiner Webseite otrtorrent.de auch mit den technischen Hintergründen und Kosten aus. Eine Datei einen Monat lange auf dem Server zu speichern kostet pi mal Daumen 1 cent. Nach einem Jahr sind dass dann 12 cent. Wer soll diese Kosten übernehmen?

Zu Punkt 3: wie angesprochen, bin ich Webmaster der Seite otrtorrent.de. Bei meinen 30.000 – 35.000 gehosteten Torrents werden auch ältere angefragt, du bist nur auf das oben von mir angesprochene Problem gestoßen, du weist nicht welche Dateien in Zukunft gefragt werden, somit weist du auch nicht, welche Sendungen du vorhalten sollst. Deshalb werden bei dir auch keine älteren Sendungen angefragt. Unten ein kleiner Auszug meiner Downloadstatistik, es werden also auch ältere Dateien angefragt.
Das Torrent-System wir natürlich weiter von mir unterstützt, meinen Server werde ich deshalb nicht abschalten. Aber mir tut es immer etwas im Herzen weh, wenn ich täglich 300-400 Sendungen vom Server löschen muss weil der Speicher voll ist.


Es ist korrekt, dass die Links auf localhost zeigen, es wird ein Programm zum Download (wie bei Torrent ja auch) benötigt. Der Link ist im Prinzip wie das Torrent-File, hier sind alle Informationen die der Client zum Download benötigt enthalten.
Ein HTTP-Download gibt es ja bei jedem Mirror, das würde hier keinen Sinn machen, da die Daten ja Peer-to-Peer übertragen werden.
Bei wuala.com muss halt Geld bezahlt werden und es wird Server-Speicherplatz genutzt, hier soll das ja eine reiner User-Community werden.


Grüße
Daniel


Hier ein kleiner Auszug der Downloadstatistik (Downloads pro Erscheinungstag) von gestern (20.06.14) von otrtorrent.de:
[14.06.19] => 187
[14.06.18] => 66
[14.06.17] => 38
[14.06.16] => 43
[14.06.15] => 15
[14.06.14] => 14
[14.06.13] => 10
[14.06.12] => 5
[14.06.11] => 7
[14.06.10] => 4
[14.06.09] => 8
[14.06.08] => 8
[14.06.07] => 5
[14.06.06] => 5
[14.06.05] => 5
[14.06.04] => 5
[14.06.03] => 15
[14.06.02] => 10
[14.06.01] => 5
[14.05.31] => 6
[14.05.30] => 8
[14.05.29] => 7
[14.05.28] => 1
[14.05.27] => 3
[14.05.26] => 9
[14.05.25] => 4
[14.05.24] => 5
[14.05.23] => 3
[14.05.22] => 2
[14.05.21] => 1
[14.05.20] => 3
[14.05.19] => 3
[14.05.17] => 3
[14.05.16] => 1
[14.05.15] => 4
[14.05.13] => 2
[14.05.12] => 7
[14.05.11] => 1
[14.05.10] => 8
[14.05.09] => 3
[14.05.08] => 3
[14.05.07] => 1
[14.05.06] => 4
[14.05.05] => 3
[14.05.03] => 2
[14.05.02] => 1
[14.04.28] => 4
[14.04.26] => 2
[14.04.25] => 1
[14.04.22] => 4
[14.04.21] => 1
[14.04.19] => 4
[14.04.18] => 6
[14.04.14] => 1
[14.04.12] => 1
[14.04.09] => 1
[14.04.07] => 2
[14.04.06] => 1
[14.04.02] => 1
[14.04.01] => 3
[14.03.31] => 1
[14.03.30] => 1
[14.03.22] => 1
[14.03.17] => 2
[14.03.09] => 1
[14.02.26] => 4
[14.02.25] => 7
[14.02.23] => 1
[14.02.20] => 1
[14.02.12] => 1
[14.02.08] => 1
[14.01.26] => 1
[14.01.19] => 2
[14.01.18] => 1
[14.01.11] => 2
[14.01.07] => 3
[13.12.26] => 1

[MPW]

Hallo,

ich verstehe immer noch nicht, wo du den Vorteil vom OFFSystem siehst? Torrent macht doch genau das, was du möchtest. Die Datei kann von verschiedenen Stellen gleichzeitig und somit mit maximaler Geschwindigkeit geladen werden.

Dass das von dir angesprochene Otrkey 3 Tage braucht, weil dein Client voll ist, liegt doch nicht am Torrent-System, sondern daran, dass es zu wenig Unterstützer gibt. Würde ich die Datei ebenfalls seeden, wäre es schon doppelt so schnell.

Und deine Idee, die Datei schneller zu verbreiten steht direkt konträr zu der Idee, die Daten möglichst lange vorzuhalten. Denn der (größtenteils) gespendete Festplattenplatz, egal ob Zuhause oder im Netz irgendwo, ist endlich. Wenn du die Datei statt einmal, mehrfach vorhalten möchtest, bedeutet das direkt, dass andere Dateien weichen müssen.

Bzgl. deiner Statistik: Ist das der echte Upload des Torrent-Clients oder lediglich die Anzahl der Torrent-Downloads? Bei otr.dwolp.de ist der Download der Torrents auch um ein vielfaches höher, als nachher die echten Downloads, da viele Leute vor Torrents zurück schrecken.

Mich würde auch interessieren, mit welchem Client du eine solche Menge an Torrents bewältigen kannst? Mein Client stößt schon bei den Torrents hier an seine Grenzen, nutze qBittorrent.

Noch ein Rechenbeispiel, warum P2P schwierig ist: Fast alle Leute haben asymmetrische Leitungen. Ganz extrem sind die Kabelanbieter. Da hat man teilweise 150 Mbit/s Download bei gerade mal 5 Mbit/s Upload. Du brauchst also 30 Benutzer, die nur die Datei hochladen um einen Benutzer in voller Geschwindigkeit zu bedienen. Natürlich ist es bei VDSL deutlich besser (1:5).

Mich brauchst du von Torrents nicht überzeugen, bin selbst begeistert davon. Aber wozu die eh schon relativ kleine Community der OTR-Torrent-Nutzer noch weiter aufspalten?

Grüße
MPW

[MCMUPPET]

Moderationshinweis:

für Listen oder ähnliches bitte den Code-Tag verwenden. Damit bleibt die Übersicht gewahrt und ellenlanges scrollen bei Beiträgen bleibt uns erspart.

Danke!

MfG
MCMUPPET

[sql-for-free]

Ich versuche meine Gedankengänge nochmal auf den Punkt zu bringen.

Wenn heute jemand zu mir kommt und mich frägt, wie er meinen Mirror oder die Torrent-Community von OTR am besten unterstützen kann, muss ich Ihm sagen: „Seede Torrents, aber ich kann dir nicht sagen welche, weil ich nicht weiß welche gefragt sind.“ Zudem muss man sich dann auch noch ständig darum kümmern, dass die Festplatte nicht voll wird, dass die Torrents nicht über ein Jahr sind (wegen dem OTR-Tracker, klar kann das Problem umgangen werden, aber auch wieder mit Aufwand).

Beim OFFSystem macht dass alles der Client selbst. Er holt sich selbst die neuesten Daten (nach denen dieser Client am ehesten gefragt wird) und löscht die (sehr) alten. Einen Tracker (singel point of failure) gibt es u.a. auch nicht.

Auch das Phänomen, dass nur ein einziger Client die komplette Datei hat, kann im OFFSystem nie vorkommen, da die Daten (Systembedingt) nie nur auf einem Client liegen können. Diese Flaschenhälse werden durch das System selbst ausgeglichen.
Ganz grob könnte man sagen, dass OFFSystem ist eine Weiterentwicklung des Torrent-System, dass die einzelnen Teile der Daten über das ganze Netzwerk verstreut und nicht nur bei denen, die die Datei tatsächlich laden.
Beim OFFSystem werden die Daten auf mehrere Clients verteilt, dass schafft Redundanz, bzw. braucht mehr Plattenplatz als eigentlich benötigt, soweit korrekt. Allerdings hilft es enorm, wenn ein Client offline geht, oder durch andere Uploads ausgelastet ist, dann kann auf die anderen Clients zurückgegriffen werden.
Und mal im ernst, was kostet heute noch Speicherplatz in einem Desktop-PC? Wer hat heute nicht noch mindestens 100GB auf einer Platte frei?

Das Problem mit der asymmetrischen Bandbreite (150Mbit/s Down-, 5Mbit/s Upload) löst das OFFSystem nicht, das ist aber auch bei allen anderen P2P Anwendungen vorhanden (ich kenne zumindest keine die dieses Problem umgehen könnte).

Aber mal ein anderes Rechenbesipiel, wir haben 2 Dateien, 3 (Upload-)Clients und 2 Downloader.
Im Torrentsystem seien die Dateien wie folgt auf die Clients verteilt:
Client1: Datei 1, 2
Client2: Datei 1
Client3: Datei 1
Die zwei Downloader, laden jeweils eine Datei. So kann der Downloader für die erste Datei von 3 Clients laden, während der für die zweite Datei nur von einem (schon belasteten) Client laden kann. Und wir haben auch hier die Redundanz in Datei 1.
Im OFFSystem seien die Daten folgendermaßen verteilt:
Client1: Datei 1 80%, Datei 2 75%
Client2: Datei 1 80%, Datei 2 20% (angenommen Client hat die Datei 1 heruntergeladen, darum 80%)
Client3: Datei 1 50%, Datei 2 50%
Im OFFSystem können beide Downloader von allen drei Clients laden. Nur die letzten 30% der zweiten Datei sind nur auf Client1 verfügbar.

Ich möchte hier nichts aufspalten. Ich möchte nur eine Möglichkeit bieten, ältere Files günstig, durch die mithilfe von jedem, zur Verfügung zu stellen und dass ohne komplizierte Konfiguration oder irgendwelcher Zusatzscripte und mit geringem Wartungsaufwand. Dass OFFProgramm kann bspw. beim PC-Start mitstarten, in der Taskleiste verschwinden und verrichtet dort (s)eine sinnvolle Arbeit.

Die Statistikwerte sind die heruntergeladenen *.torrent Files. Aber ich gehe zumindest bei 90% der Lader davon aus, dass Sie wissen was ein Torrent ist und wie man damit umzugehen hat. Zu meinem tatsächlichen Upload kann ich dir gerade keine Zahlen posten, aber wenn ich so grob über die Aktivitätsdaten schaue, kommt das schon hin. Ob diese Dateien natürlich komplett von meinem Server bezogen wurden, oder ob noch andere Seeds im Spiel waren, kann ich dir nicht sagen.

Zu meinem Torrent-Client auf dem Server, ich benutze vier Transmission-Daemons (jeweils mit 7.000-9.000 Files). qBittorrent hat bei mir schon bei etwas über 1000 Files schlapp gemacht, aber Transmission packt das relativ gut. Die Bedienung ist halt nicht so schön, aber in diesem Fall ist die Funktion wichtiger als die Optik.

Grüße
Daniel

[MPW]

Beim OFFSystem macht dass alles der Client selbst. Er holt sich selbst die neuesten Daten (nach denen dieser Client am ehesten gefragt wird) und löscht die (sehr) alten.

Gut, das wäre ein geringer Vorteil.

Einen Tracker (singel point of failure) gibt es u.a. auch nicht.

Dieser Engpass existiert so nicht mehr. Siehe DHT, Multi-Tracker und Trackerless-Torrents.

Auch das Phänomen, dass nur ein einziger Client die komplette Datei hat, kann im OFFSystem nie vorkommen, da die Daten (Systembedingt) nie nur auf einem Client liegen können. Diese Flaschenhälse werden durch das System selbst ausgeglichen. [...] Beim OFFSystem werden die Daten auf mehrere Clients verteilt, dass schafft Redundanz, bzw. braucht mehr Plattenplatz als eigentlich benötigt, soweit korrekt.

Ja aber was, wenn einer der Clients gerade mal offline ist? Dann kann die Datei gar nicht geladen werden. Und was, wenn es überhaupt nur einen einzigen Unterstützer/Seeder/Uploader für diese eine Datei gibt?

Und mal im ernst, was kostet heute noch Speicherplatz in einem Desktop-PC? Wer hat heute nicht noch mindestens 100GB auf einer Platte frei?

Ähm teuer? So eine Festplatte braucht zwischen 4 und 6 Watt Strom. Das sind 2 bis 3 € im Jahr. Private Platten halten im Schnitt 4-5 Jahre. Also kosten 100 GB privater Plattenplatz rund 75 cent im Jahr wenn 1 TB rund 30 € kostet. Und mit 100 GB kommst du nicht weit. OTR erzeugt PRO TAG 6 Terrabyte otrkeys.

Dass OFFProgramm kann bspw. beim PC-Start mitstarten, in der Taskleiste verschwinden und verrichtet dort (s)eine sinnvolle Arbeit.

Ähm, wer lässt denn heute seinen Desktop-PC noch 24/7 laufen? Taskleiste = Windows? Du brauchst ein System für NAS. Die meisten NAS haben Torrent-Clients. Und ein Desktop-PC frisst Unmengen an Strom, da kannst du nochmal eben 30-40 € pro Jahr an Stromkosten locker aufschlagen.

Zu meinem tatsächlichen Upload kann ich dir gerade keine Zahlen posten, aber wenn ich so grob über die Aktivitätsdaten schaue, kommt das schon hin.

Also bei Torrents, die nur ich allein seede, kommt auf jeden Hundersten Torrent-Datei-Download ein echter Download über das Torrent-Protokoll. Solange du es nicht begründen kannst, glaube ich erstmal nicht, dass die Quote bei dir deutlich höher ist.

Zu meinem Torrent-Client auf dem Server, ich benutze vier Transmission-Daemons (jeweils mit 7.000-9.000 Files). qBittorrent hat bei mir schon bei etwas über 1000 Files schlapp gemacht, aber Transmission packt das relativ gut. Die Bedienung ist halt nicht so schön, aber in diesem Fall ist die Funktion wichtiger als die Optik.

Danke für die Info. Ich überlege auch Transmission einzusetzen, aber das kann nicht so gut mit Webseeds und mehreren Trackern umgehen. qBittorrent läuft mittlerweile stabiler, das hängt stark von der verwendeten librasterbar-Bilbiotheksversion ab.

Um das mal alles zusammen zu fassen. Ich verstehe die Idee der Automatisierung. Aber wäre es nicht sinnvoller einen speziellen OTR-Torrent-Client auf Basis der libtorrent-rasterbar zu schreiben? Da habe ich schon häufiger drüber nachgedacht, man bräuchte grob folgende Features:

- Paketierung für gängige NAS-System, einfache Installation
- RSS-Feed-Verarbeitung oder andere Möglichkeit des automatischen Torrent-Downloads
- Decodierung mittels otrtool (freie Nachprogrammierung des otrdecoders, läuft auch auf ARM)
- Löschung der ältesten Dateien, wenn Platte voll
- Nachts Download von OTR direkt via HTTP

Bei mir hab ich das alles über Bash-Skripte realisiert, sogar teilweise per automatischem Download von Mirrors. Evtl. geht es auch über Plugin oder Fork eines bestehendes Torrent-Clients.

Ich denke das als smarte Software würde deutlich mehr pushen als ein neues Protokoll.

Das als Communityprojekt wäre schon interessant, aber man müsste sich evtl. mit den OTR-Admins absprechen, da andere Communityprojekte in der Vergangenheit nicht gern gesehen waren.

Grüße
MPW

[Administrator]

finde den Ansatz sehr interessant und wir würden den unterstützen..allerdings, gibt es wirklich keine aktuelle und gepflegte Software dazu? bitte nochmal suchen...bei einem eingeschlafenen Projekt gibt es doch meist einen Grund ?!?!

[mchawk]

Allerdings hat sich leider bisher noch niemand dazu bereiterklärt, praktisch etwas zu tun. Etwas frustrierend.

Stell Dir mal folgende Frage: Wenn es schon für das bekanntere Torrent-System nicht genügend Unterstützung gibt.... wie hoch schätzt Du die Erwartung ins Off-System?
Ich habe bisher bewusst meinen Mund gehalten eben um nicht zu frustrieren - und ich bin keinesfalls gegen Deinen Vorschlag - aber realistisch gesehen wird das eine Totgeburt. Sorry.

Ich habe früher auch Torrent geseedet - aber habe damit aufgehört, weil ich dann doch den Löwenanteil meiner Aufnahmen via Webseed saugen musste - der Einbau von Mirror-Links für Webseed ist mir zu umständlich und ich fahre nicht gern zweigleisig.
Abgesehen davon ist z. B. der Serienpush - wie in z. B. OTR, otr-files oder datenkeller anbieten viel komfortabler. Da brauchts nicht mal ein NAS, Torrentclient mit RSS-Feed - dafür taugt schone eine FritzBox oder ähnlicher Router mit USB-Platte und einer Wishlist.

[mira]

Stell Dir mal folgende Frage: Wenn es schon für das bekanntere Torrent-System nicht genügend Unterstützung gibt.... wie hoch schätzt Du die Erwartung ins Off-System?
Ich habe bisher bewusst meinen Mund gehalten eben um nicht zu frustrieren - und ich bin keinesfalls gegen Deinen Vorschlag - aber realistisch gesehen wird das eine Totgeburt. Sorry.
[...]

Sehe ich ähnlich, dann lieber verstärkt das Torrent System unterstützen und vorallem die user verstärkt darauf aufmerksam machen. Evtl könnte man auch auf der DL seite den Download via Torrent speziell dann hervorheben wenn dicke Server mit im Seed hängen, ist ja mittlerweile bei recht vielen Dateien der Fall.

Generell finde ich das funktionsprinzip des offsystems zwar gut, aber ich denke das es einfach zu wenig genutzt werden würde, gar nicht weil es keine Personen geben wird die ggf speicher zur verfügung stellen aber was macht es für einen sinn ein paar tb an Speicher zur verfügung zu stellen wenn es keiner oder nur wenige nutzen.

lg

[Zeddy]

das wiederrum sehe ich etwas anders, denn wie du selber sagst findest du das funktionsprinzip generell gut. wenn man ein veraltetes system hat, warum sollte man dieses mit der zeit denn nicht durch ein besseres ersetzen?

ich mein ich nutze torrents generell nicht, aber die idee vom offsystem ansich halte ich durchaus für ausbaufähig und förderungswürdig. torrents werden genutzt und wenn es ein besseres system gibt, warum sollte man (mit genügend angebot) nicht irgendwann umsteigen?