Aufbau eines Mirror

[doklages]

Hallo,
da ich schon länger bei OTR bin und die Idee und das Angebot wirklich klasse finde möchte ich einen Vorschlag machen und mal auskundschaften was die Community davon hält.
Ich selber bin ein kleiner Serverbastler und habe mir in viel Kleinarbeit ein Rechenzentrum in den Keller gebaut mit Klima USV und Dieselgenerator. Mein nächstes Projekt wird sein einen Cluster aufzubauene aus 4-5 Rechner welche alle ihre Daten aus einem storage Server bekommen. So nun hatte ich die Idee, dass ich es mal angehen könnte ein Archiv von Sendung aufzubauen. Momentante Kapazität des Storage Servers sind 1,5 Terrabyte. Lässt sich aber aufstocken (bei den heutigen Festplattenpreisen). Und dieses Archiv würde ich gerne online stellen.Die Server laufen auch alle 24H und sind von Außeneinflüssen fast nicht zu beeinflussen. Nun aber ein kleiner Haken. Die Anbindung läuft über 2 SDSL Leitungen symetisch 2Mbit. Das ist nicht gerade viel. Nun meine Frage meint ihr man könnte damit leben. Werbung würde ich dazu einsetzen Hardware zu bezahlen sprich neue Festplatten Raidcontroler Backupmedien (Bänder; DVD's). Meint ihr so eine Initiative wäre gut oder findet ihr das man darauf verzichten könnte.


P.S Traffic spielt keine Rolle. Ich habe eine echte Flatrate was man an dem 3 stelligen Betrag pro Monat und Leitung sehen kann.

[emsa]

Nun aber ein kleiner Haken. Die Anbindung läuft über 2 SDSL Leitungen symetisch 2Mbit. Das ist nicht gerade viel. Nun meine Frage meint ihr man könnte damit leben.

Für direkte DLs ist das in der Tat nicht gerade viel, aber... warum nicht damit Torrents seeden? Da wären die 2 MBit (oder was Du davon opfern kannst/willst) IMHO beinahe besser angelegt.

Just my 0.02 GWP.

Ciao
emsa

[doklages]

also eine Leitung wäre gut zu machen die 2. auch wenn ich QOS aktiviere. Ich habe das gerade mal durchgerechnet pro Gehäuse (2HE) würde ich 4 Terrabyte unterbringen in meinem Rack (30HE) wären das dann 60 Terrabyte wenn man mal die Ausfälle einzelner Platten weg lässt.
Feste Ip ist kein Problem hab davon 32 Stück

[otr-files]

also eine Leitung wäre gut zu machen die 2. auch wenn ich QOS aktiviere. Ich habe das gerade mal durchgerechnet pro Gehäuse (2HE) würde ich 4 Terrabyte unterbringen in meinem Rack (30HE) wären das dann 60 Terrabyte wenn man mal die Ausfälle einzelner Platten weg lässt.
Feste Ip ist kein Problem hab davon 32 Stück
ich denke mal für aktuelle/hochgefragte files nicht zugebrauchen da zu geringe bandbreite. aber für ältere files die älter als z.b 2 wochen sind bestimmt gut zu gebrauchen da ja viele mal files nach 4 wochen auf mirror suchen und diese nicht mehr zu finden sind dann. siehe hier auch anfragen im forum.

gruß andy otr-files.de

[doklages]

Ich habe mir gedacht dann eine Ordnerstruktur anzulegen nach Jahr Monat Datum. Ich denke das ist das einfachste.

[Mr. S]

Für direkte DLs ist das in der Tat nicht gerade viel, aber... warum nicht damit Torrents seeden? Da wären die 2 MBit (oder was Du davon opfern kannst/willst) IMHO beinahe besser angelegt.
Ich fürchte da hat emsa recht, mit 2 MBit bist du ziehmlich schnell überlastet. Bedenke das die meisten DSL-Nutzer mittlerweile 2 MBit oder mehr zum Download haben. Es gäbe da zwei Möglichkeiten wie man deine Leitungen effektiv nutzen könnte:

P2P: Wie emsa bereits vorgeschlagen hat könntest du Torrents seeden. Bei deiner Speicherkaperzität könnte man auch bestimmt die Torrents länger seeden als bei OTR, das wäre ein wirklicher Gewinn. Noch einfacher wäre natürlich einfach alles über eDonkey zu verteilen, das kann man nämlich sehr bequem automatisieren.
Click-Hoster-Upload: Es gibt einen Mirror der Links zu 1-Click-Hostern sammelt. Mit deinem starken Upload könntest du da mitmachen und Dateien uploaden. Die 1-Click-Hoster bieten nämlich eine bessere Anbindung an. Da können durchaus mehrere Leute gleichzeitig mit Fullspeed downloaden.


Kompliment aber für diesen privaten Einsatz für OTR!

[FoXyLiOn]

Eine Weitere Idee wäre, dass man ein Request-System einführt, an dem sich Mirrors beteiligen können, dann könnten die Mirror oft-alt-nachgefragte Dateien von dir einmalig Spiegeln, und diese dann zum Download (mit höherer Bandbreite) anbieten...

Von Torrent würde ich eigentlich abraten, dein Upload ist so groß wie der Upload von 4 16Mbit-DSL Usern, das was bei du vorzeigen kannst ist der unglaublich große Speicherplatz, da sollte man anknüpfen, und ich glaube im Torrent würde man viel Traffic einfach nur für Doppelt und Dreifache Uploads verschwenden...

[Taube]

Von Torrent würde ich eigentlich abraten, dein Upload ist so groß wie der Upload von 4 16Mbit-DSL Usern, das was bei du vorzeigen kannst ist der unglaublich große Speicherplatz, da sollte man anknüpfen, und ich glaube im Torrent würde man viel Traffic einfach nur für Doppelt und Dreifache Uploads verschwenden...
Was sonst? Direkt-Download ist da kein bischen besser! Bei torrent besteht zumindest die Möglichkeit, dass die Leecher auch Chunks verbreiten.

[FoXyLiOn]

Was sonst? Direkt-Download ist da kein bischen besser! Bei torrent besteht zumindest die Möglichkeit, dass die Leecher auch Chunks verbreiten.
Bei meiner Idee würden sich andere Mirrors die Dateien holen, und die Dan mehr als 2-3mal verteilen, also so, dass der Cluster wirklich als Archiv dient, und auf Anfrage die otrkeys an Mirrors verteilen kann, somit wird die Bandbreite die der Cluster nicht aufbringen kann größtenteils durch die Mirrors getragen (bis auf 1x Upload zum Mirror).

Desweiteren könnte man um noch einstellen, dass nur Dateien, die es nicht mehr als DDL gibt angeboten werden, also sozusagen _das_ Archiv, dass es bei OTR sowieso schon gibt.

[doklages]

gute Idee, könnte man mit einem FTP Zugang erweitern.

[Mr. S]

Ich bin nach wie vor für 1-Click-Hoster, dann hat keiner das Problem mit dem Downloadspeed.
Bei P2P bin ich klar für Torrents.

[Starrr]

Moin,
ich habe nur einen kleinen Mirror mit wenigen Files (ca. 30-40 Gig), aber der ist normal mit durchschnittlich ca. 10 MBit ausgelastet (zu den nicht-nachtschlafenden-Zeiten *g*).
Ich hab mal eine Grafik der letzten 8 Wochen angehängt ;)
Daher ist ein direkter und aktueller Mirror mit deiner Rate zwar ein guter, lobenswerter ansatz, aber es werden leider die beschwerden überwiegen ...

Also denk da nochmal drüber nach ;)

Gruss

[doklages]

nach längeren überlegen wird es nun so werden das die Dateien 1 Woche lang auf einem schnellen Server (100 Mbit) liegen und dann in das Archiv auf dem Server zu Hause verschoben werden und da dann noch mal 4 Wochen lagern.
Ich denke, dass dies ein Kompromiss ist.

[doklages]

mit der Urlaubsfunktion werde ich auf jeden Fall umsetzen muss jetzt nur noch auf die Sommerferien warten

[Taube]

mit der Urlaubsfunktion werde ich auf jeden Fall umsetzen muss jetzt nur noch auf die Sommerferien warten

Nein, besser vorher umsetzen! :p

[doklages]

ich werde sehen was ich machen kann.

[otrhq.de]

Du meinst eine vollständige Liste, welche Files auf dem OTR-FTP verfügbar sind?
Gibt es m.E. so direkt nicht. Die Mirror mit FTP-Zugang legen sich sowas selbst an.
Ggf. kann der Admin von fileinfo.de.vu dir so etwas erstellen, das scheint ja ne aktuelle und vollständige Liste zu sein.

[strex]

Hi, ich kann dir sowas liefern bzw. offen legen für alle. Nur muss mein script noch lernen, dass dateien eingezeigt werden die online sind. ein check über php mit einer funktion ist mir nicht bekannt.

Wäre hilfe weiß? Bitte melden!

Grüße strex

[doklages]

nein es gab oder gibt ein PHP script von OTR was einfach alle otr files die sich in dem ordner auf dem Server anzeigt nach datum und nach sender geordnet. Ich hatte das auch schon mal nur weiß ich nicht mehr wo ich es her habe.

[otrhq.de]

Ach sowas meinst du.
Ich weiß ja nicht wie fit du in welcher Programmiersprache bist, aber länger als 15 Minuten habe ich nicht gebraucht. Allerdings ist meine Liste auch manuell gepflegt, da die Files auf einem anderen Server liegen.

[strex]

@otrhq.de

Hi die Liste zeigt alle jemals gespiderten Files an, daran arbeite ich noch das der Status dann geändert wird wenn die Datei nicht mehr auf dem Server ist. Werd mal da beschriebene anschauen, benutze derzeit aber kein PHP5;)

@doklages
Ja das script liest den Ordner aus, aber was bei mir auf dem Server ist, weiß mein System ja auch, auch was nicht mehr verfügbar ist, weiß mein System. Nur was auf dem OTR-FTP nicht mehr Verfügbar ist weiß mein System leider noch nicht;)

Grüße strex

[otrhq.de]

Ah, jetzt verstehe ich das Dilemma, strex.
Ich kann dir die PHP4-Version schicken, es geht im Grunde genommen nur um die geändert parse_url-Syntax.
Gibt es denn so ein frei verfügbares Script?
Es wäre ja sowieso mal anzudenken, ein Mirror-System für alle zu entwerfen, damit nicht jeder das Rad neu erfinden muss.

[strex]

Bin derzeit noch mein dabei mein System für andere offen zu legen bzw. einige Teile davon. Leider bin ich immer noch beschäftigt das zu perfektionieren, dass ich bis auf´s Updatescript noch nicht Veröffentlicht habe.

Also ich brauch keine PHP4 Version, das einzige was in PHP4 nicht gibt ist get_headers. Das brauch ich ja nicht, benutze zum filesize check das ftp command. Mir ist das Prinzip jetzt klar, werd das morgen einbauen. Da hätte ich auch früher drauf kommen können:(

Grüße strex

[doklages]

schon nach so kurzer Zeit gebe ich die Sache auf da mir alle Unternehmen wo die Server stehen versichert haben das Sie otrkey dateien nicht dulden werden und gegebenfalls rechtliche Schritte einleiten werden . Darum ist mir die Sache zu heiß und ich will Ärger vermeiden auch wenn ich im Recht bin kosten solche Angelegenheiten viel Geld. Desshalb
Ich ziehe den Hut vor allen Mirror betreibern und werden otr natürlich weiter nutzen

P.S wer die Domain otr-mirror.info haben möchte kann sich bei mir melden.

[otrhq.de]

Och nö, das ist aber sehr schade, wenn du einfach so gehst!
Wenigstens dein Archiv müssen wir doch irgendwie einbinden können!

Du könntest dir ja immer nur 1-2 Wochen alte Files runterladen, bei denen ist der Traffic nicht so hoch/wichtig.
Oder vielleicht sprichst du ein paar Mirror an und machst mit ihnen eine Kooperation, dass sie Files nach zwei Wochen in dein Archiv uploaden.

Außerdem: strex hat Erfahrungen mit dedibox und SurpassHosting, dedibox kickt nicht (sonst wäre mirror-verbund.com offline) und SurpassHosting erstattet zumindest das Geld zurück (Kündigungsgrund zu hohe CPU-Last).

Wie hast du denn bei den ISPs angefragt? Hast du die Rechtmäßigkeit von OTR nach §53 UrhG erläutert?

[Starrr]

Moin,
der Hauptgrund für die Provider ist das die otrkey-Dateien
a. einen ungeheuren Traffic verursachen und
b. rechtlich noch nicht 100%ig bestätigt sind.

Der offizielle hauptgrund wird der zweite Punkt sein, aber eigendlich ist es (keinerlei Meldung der Sender vorrausgesetzt) der erstere.
Viele Mirrorbetreiber haben es in letzter Zeit leider übertrieben und gesagt, wenn ich 100 MBit habe nutz ich die gefälligst auch. Nur die Tatsache das da noch andere Server in dem Segment sind denen die Luft zum Atmen genommen wird, das wurde da immer ignoriert ...
Da kam dann eigendlich nur erschwerend hinzu, das die Mischkalkulation für Traffic bei den Providern gar nicht mehr aufgehen konnte.

Ergo:
Mein Mirror läuft seid knapp einem Jahr bei Strato.
Ich hab keine Trafficflat.
Ich nutze meine 100 MBit nur sehr moderat mit 8-15 MBit.
Strato denkt nichtmal ansatzweise an eine Kündigung ;)

Gruss

[doklages]

das archiv werde ich machen zu Hause da kann ich machen was ich will aber bei den Providern ist das nicht zu realsieren

[Mr. S]

Nutz deinen hohen Upload und lade die OTRKEYs bei 1-Click-Hostern hoch. Du kannst dich ja bei den Mirrors beteiligen oder auch einen eigenen mit den passenden Downloadlinks bereitstellen.

[kiwee]

Servage kündigt auch

[Bossss]

Servage kündigt auch

Kann das leider nur bestätigen. Früher hatten manche Mirrors ihre otrkeys dort gespiegelt und wurden dann nach zwei Monaten gekündigt.

[Kinn]

Moin,

Mein Mirror läuft seid knapp einem Jahr bei Strato.
Ich hab keine Trafficflat.
Ich nutze meine 100 MBit nur sehr moderat mit 8-15 MBit.
Strato denkt nichtmal ansatzweise an eine Kündigung ;)

Gruss

Welchen Tarif hast Du denn bei Strato?

[Starrr]

http://www.strato.de/server/power/index.html
den kleinen davon, reicht allemal als kleiner Mirror
Und mehr biete ich ja auch nicht an ;-)

Gruss

[XeroX1504]

Click-Hoster-Upload: Es gibt einen Mirror der Links zu 1-Click-Hostern sammelt. Mit deinem starken Upload könntest du da mitmachen und Dateien uploaden.

Hast du da mal nen Link zu solch einem Mirror?

[moep]

Falls die Frage immer noch im Raum steht: http://www.otr-world.de/

[kiwee]

Ja ich mache derzeit auch mit :)
Mein Rootserver sammelt die Files und die gehen direkt an den Clikhoster mit dem ich persöhnlich alles geklärt habe

[XeroX1504]

Könntet ihr nicht auch Services wie http://www.mirrorit.de/ oder http://xirror.com/ benutzen? Das wäre doch durchaus ein Vorteil für die User. Und ihr müsst trotzdem nur einmal uppen.

Ach ne, aber da gibts ja wieder die Filesizelimits... Habe eben auch gesehen, dass Links von Mirrorit drinne sind. Cooles Projekt :D

[Xeranon]

Könntet ihr nicht auch Services wie http://www.mirrorit.de/ oder http://xirror.com/ benutzen? Das wäre doch durchaus ein Vorteil für die User. Und ihr müsst trotzdem nur einmal uppen.

Ach ne, aber da gibts ja wieder die Filesizelimits... Habe eben auch gesehen, dass Links von Mirrorit drinne sind. Cooles Projekt :D
Schau dir die Max-Dateigrössenen da an ;)

[stna1981]

Also wie ist das mit dedibox, kicken die generell nicht, also weder aufgrund der Inhalte noch wegen hohen Traffics? Oder nur nicht wegen der Inhalte? Und kann man da überhaupt bestellen, das geht doch nur in Frankreich?

Gibts denn außer dedibox noch andere Anbieter, die otrkeys tolerieren und wenn ja, wo liegt bei denen so die Grenze, was den Traffic angeht?

Edit:
hab gerade einen Beitrag von strex gelesen, dem wurde von dedibox auch gekündigt? *verwirrt*

[kiwee]

Dedibox hat alles gekündigt :)
Weitere Infos findest du in den Threads vom Mirror-Verbund ;)
Und bitte hier nich nochma drüber wälzen :D

[stna1981]

Ich habe angeregt, mal ein Sticky-Topic zu machen, eine Art Übersicht über Anbieter.

[stubidoo]

Im Prinzip isses ganz einfach. Wenn Du für Deinen Traffic bezahlst, wirst Du deswegen auch nicht gekündigt.
Leute, was erwartet Ihr? hardware und Flatrate für zusammen 29€ und dann 40 TB Traffic im Monat machen ... glaubt ihr ernsthaft, es ghibt da draussen einen einzigen Anbieter, der das mit sich machen lässt?

Ja, ich weiss, Geiz ist Geil. Und die mit den 30€-Servern sind dann die, die am lautesten nach SPenden und Bannerklicks schreien.

*kopfschüttel*


(just my 2 cents)

[kiwee]

Im Prinzip isses ganz einfach. Wenn Du für Deinen Traffic bezahlst, wirst Du deswegen auch nicht gekündigt.
Leute, was erwartet Ihr? hardware und Flatrate für zusammen 29€ und dann 40 TB Traffic im Monat machen ... glaubt ihr ernsthaft, es ghibt da draussen einen einzigen Anbieter, der das mit sich machen lässt?

Ja, ich weiss, Geiz ist Geil. Und die mit den 30€-Servern sind dann die, die am lautesten nach SPenden und Bannerklicks schreien.

*kopfschüttel*


(just my 2 cents)

Wo er recht hat hat er recht :)

[stubidoo]

Da kann er ja froh sein.
Mein Server bei s4y wurde nach 800 GB auf 2 MBit runtergestuft ...

[kiwee]

Da kann er ja froh sein.
Mein Server bei s4y wurde nach 800 GB auf 2 MBit runtergestuft ...

Kommt ja auch auf die Datenrate an. Also wieviel auf einma durchgeht.
Ich kann immer nur HostEurope empfehlen. Kauft euren traffic und gut ist.
Besseres Netz gibbet net

[stubidoo]

HE hat aber ne laufzeit von mindestens 12 monaten ...

[kiwee]

dafür bekommt man wengistens was ;)
Und zur Not vertrieb@hosteurope.de nach individuellem Angebot fragen.

Mit denen lässt sich reden.

[Xeranon]

dafür bekommt man wengistens was ;)
Und zur Not vertrieb@hosteurope.de nach individuellem Angebot fragen.

Mit denen lässt sich reden.
Wirst du ned zahlen können, sag ich mal...

[kiwee]

Doch doch . Das UNternehem ist sehr seriös und durchaus Verhandlungsfähig ;)
Und Traffic ist halt teuer. So ist die Realität

[Xeranon]

Doch doch . Das UNternehem ist sehr seriös und durchaus Verhandlungsfähig ;)
Und Traffic ist halt teuer. So ist die Realität
Hab ich ja auch nichts anderes gesagt ;)

[mschafhuber]

was ist jetzt mit dem Storage Server mit 1,5TB ?

[strex]

Doch doch . Das UNternehem ist sehr seriös und durchaus Verhandlungsfähig ;)
Und Traffic ist halt teuer. So ist die Realität

Traffic muss nicht teuer sein. Statt Transits und Uplinks ein zu kaufen muss man Peerings betreiben, somit sparen sich die Provider die Traffickosten, die anfallen wenn ausgehender Traffic in andere Netze geht.

Peerings bekommt man z.B. bei DECIX als Firma bzw. Organisation kann man dort eine Leitung anfordern. Sagen wir mal 10G, dann musst du in den benutzen RZs ein Rack zu legen und dort deine Hardware reinstellen. Natürlich wird dann ein Layer3 switch mit BGP4 benötigt, dass heute auch nicht mehr die Welt kostet.

Somit hätte man eine Preisgünstige Anbindung mit monatlichen kosten von rund 5000€ eine Anbindung von guten 10 Gbit/s ohne noch was an Traffic zu bezahlen. Und 5000€ sind richtig billig für 10G.

Das einzige blöde ist nur, dass derzeit die Telekom weigert dort ein Peering zu betreiben und somit teuer ein Transit eingekauft werden und der ist nicht billig. Sollte die Telekom endlich mal entscheiden sich dort anzuschließen wäre das sogar eine gute Alternative.

Für mich als Kabelbw Kunde wäre das eine perfekte Lösung, da Kabelbw am Peeringpoint direkt angeschlossen ist:D

[doklages]

Ich melde mich zu dem Thema nochmal zu Wort.

Es gibt eigentlich 2 Probleme:

1. Die Hardware und die Festplatten besitze ich weil über Jahre zusammengekauft. Das Problem an der Sache ist da wir auch nur ein Privathaushalt sind treffen uns die Strompreiserhöhungen ziemlich stark. Weil diese Kisten nicht gerade wenig davon brauchen wird das ziemlich teuer. Den einzigen Ausweg den ich sehe ist konsequent auf energieeffiziente Technik zu setzen wie die neuen BE CPU's von AMD die einen TDP von 45 Watt haben mit 4 HDD's à 500GB würde man auf eine Stromaufnahme von ca. 75 Watt kommen.
Das würde noch gehen weil dadurch auch die Klimatisierung runtergefahren werden könnte, wegen weniger Abwärme.

Das 2. Problem ist halt der nicht sehr schnelle Upload von 2Mbit. Vor dem Hintergrund das es Mitlerweile VDSL 50 gibt.
By the way torrents lassen sich auch wunderbar automatisieren.

So ist der Stand der Dinge ich habe die ganze Sache nicht vergessen sehe aber im Moment keine wirkliche Realisierungsmöglichkeit
Edit: Bei den im Moment herschenden Festplattenpreisen wären Speichermengen an die 5 TB kein Problem
Viele Grüße
Dominik

[XeroX1504]

2Mbit Upload? Hmm, das taugt eigentlich nicht als Mirror. Aber ansonsten klingt dein Vorhaben gut.