PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Torrent Mirror, wer würde sowas unterstützen?



Suxxess
29.01.2009, 15:55
Also folgende Idee:

Irgendwer erstellt eine Seite die aufgebaut ist wie ein normaler Mirror.
Anstelle, dass man dort warten muss oder einen langsamen Download erhält, votet man für ein bestimmtes File.

Privatpersonen können dann die Bandbreite ihrer (V-)Server zur Verfügung stellen. Das können dann eigene Server sein, oder der Server vom eigenen Clan u.s.w. . (V-DSL, Kabel per Linux oder auf einem Linuxrouter u.s.w. wäre auch interessant. Eine Windowssoftware müsste ebenfalls nur ein FTP Verzeichnis überwachen und bei neuen Dateien hinzufügen)

rTorrent kann z.B. ein Verzeichnis auf neue Torrentdateien überwachen. Die Privatpersonen müssten dann nur einen neuen Nutzer erstellen, rTorrent installieren und eine vorgefertige Konfiguration benutzen. Man kann auch einstellen wie häufig eine Datei hochgeladen werden soll bis sie nicht mehr geshared wird. (z.B. 3x)

Auf der Webseite melden sie sich an, geben ein wieviel Bandbreite und Traffic sie zur Verfügung stellen wollen und zu welchen Uhrzeiten dieser genutzt werden darf u.s.w. . (Das wird dann in einer Datenbank gespeichert)

Damit weiß dann das Script wieviel Bandbreite es zu welcher Uhrzeit verteilen kann und darf. Die Webseite würde dann z.B. die Torrentdatei von OTR zu 2 anderen FTP Servern übertragen. Diese würden sich dann an der Verteilung der Datei beteidigen bis sie z.B. jeweils 3x hochgeladen wäre oder 2 Stunden um wären. Anschließend würde die Datei gelöscht werden. Diese Bandbreite würde dann der Server in der Datenbank runterrechnen.

Die Frage wäre jetzt, ist sowas umsetzbar? Und die zweite Frage wäre, würde man genug Unterstützer finden die ihre Bandbreite spenden würden oder ist die Anzahl der V-Server / Server / V-DSL, Kabelnutzer so gering, dass sich sowas nicht lohnt?

Und die dritte Frage wäre, hätte jemand Lust, Zeit und Erfahrung dies umzusetzen? :confused:
Oder ist es eine Schnappsidee?

mira
29.01.2009, 16:48
Also ich denke mal im großen und ganzen ist das machbar was Problematisch wird ist die limitierung der Bandbreite diese müsste manuell eingestellt werden.
Auch das überwachen dürfte unter Linux kein Problem darstellen allerdings habe ich da irgendwie etwas falsch gemacht bei mir wurden die torrents zwar geladen allerdings wurde diese nicht wieder deaktiviert.


gruß

soj
13.02.2009, 21:52
Hallo Suxxess,

Ich habe so was ähnliches schon am laufen.

1. Torrents werden automatisch downgeloaden von OTR
2. Otrkeys-Filme runter geladen mit rtorrent
3. upload unbegrenzt eingestellt (läst sich aber mit rtorrent einstellen)
4. lösche torrents von hand raus nach 1 oder 2 Wochen


Gruß SOJ :)

Cybermichl
14.02.2009, 11:27
Ich trage mich mit dem Gedanken, 32000/2000-Anschluss (vielleicht auch mit mehr UL) per Kabel anlegen zu lassen. Von daher ist dieser Vorschlag für mich interessant. Diese Server/Torrentlösung würde ich gerne energiesparend über meinen Router (Fritzbox) realisieren, wegen mangelnder Linuxerfahrung muss ich das noch verschieben.

LG Micha

M.C.S.
15.02.2009, 07:51
Ich habe mit DownloadThemAll schon öfters Metalink-Dateien zu fassen gehabt. Funktionierte soweit problemlos :)

soj
15.02.2009, 12:49
@Cybermichl

Zu was das Rad zwei mal erfinden.
Gibt heut zutage NAS - Box mit Torrent Client.

Gruß SOJ :)

Cybermichl
15.02.2009, 14:10
Hi Soj :)


Gibt heut zutage NAS - Box mit Torrent Client.

Das wurde mir schon vorgeschlagen, aber eine zusätzliche Box, wenn ich schon Fritzbox und Externe Festplatten, die ich an die FB anschließen kann, habe, möchte ich auch nicht mehr :p - der Stromspareffekt usw. wäre hin.

Ich könnte meine Files für die Öffentlichkeit zwar zugänglich machen, aber halt nur als FTP-Zugriff. Ansonsten müsste ich meine Rechner mitlaufen lassen.

Es müsste um eine Fritz-Interne Lösung handeln, also ein ein Torrentprogramm als Unix/LInux-Application/Dienst, deren Konfiguration und Zugriff per Telnet oder so geschieht. Ich werde wohl nicht drumherum kommen, mich damit zu beschäftigen, Compiler und ähnliches Geraffl habe ja schon ;) aber keine Zeit:p Außerdem benutze ich die FB mit zum Geldverdienen und wenn was schiefgeht - na, dann kann ich wirklich mich damit beschäftigen :D

LG Micha

Suxxess
15.02.2009, 22:31
Solche Metalink's wären ja quasi Torrentdateien gepaart mit einer Webseedquelle. Schon mal nicht schlecht. Die Nutzer mit viel Upload könnten sicherlich einiges uploaden. Primär ging die Idee eher in Richtung V-Server / Rootserver Besitzer, die noch Freetraffic über haben aber keine Lust einen Mirror zu erstellen. Bei Strato z.B. gibts jetzt den kleinsten V-Server für 10 € mit 3000 GB Traffic!!

Die Hauptidee ist halt, 1x einrichten und dann quasi keinen Stress mehr da da alles automatisch läuft.

bensh
18.02.2009, 07:53
Hallo,

ich könnte auch ca. 50-100 GB im Monat bereitstellen.

Habe einen vServer und habe Torrentflux drauf laufen.. (hab diesen Monat schon 30 GB geshared)


Greetz Bensh

serien_mirror08
18.02.2009, 21:20
Darf man mal fragen, wieweit man bereits mit der Entwicklung des Systems ist ?

soj
19.02.2009, 17:01
@serien_mirror08: nach meiner Meinung ist das Ding fertig. Muss nur noch jemand auf seinem Server oder zuhause installieren und testen.

@bensh: Danke :). Bei Intresse helfe ich dir gerne bei rtorrent einrichten. Ich kann dir auch mein Script zum Alpa test überlassen.

@Suxxess: Nur ran an die Sache. Zu hause testen und dann auf einen Vserver.

@Cybermichl: Wie schon gesagt den Streß würde ich mir nicht machen. Ich habe damit schon sehr lange Erfahrung und die 10 oder 15 Watt macht deine Strom Rechnung auch nicht unendlich teurer. Die Fritzbox kommt eh nur mit 2 bis 5 torrents zurecht, dann geht die auch in die Knie.

Gruß SOJ :)

Suxxess
20.02.2009, 10:43
Was man dafür entwickeln müsste:

Webseite mit Login für jeden Trafficspender
Diese müssen eintragen können:
- Maximaler Traffic im Monat oder zeitbasierend
- Zeitpunkt wann der Traffic anfallen darf
- Wie viel Plattenplatz sie zur Verfügung stellen

Dann eine Webseite wo man für bestimmte Torrents voten kann, für den Anfang würde es reichen wenn man die Liste von OTR direkt abfragt.

Dann bräuchte man von jedem einen FTP Login mit dem der Hauptserver die ausgewählten Torrentdateien in ein bestimmtes Verzeichnis kopiert. Sicherer wäre es allerdings wohl wenn man alternativ einen Cronjob schreibt, der sich zu einem bestimmten Zeitpunkt z.B. jede Stunde vom Hauptserver die für Ihn bestimmte Torrentdateien herunterläd und diese dann bei sich einfügt.
Und alle 3 Stunden wird sie wieder rausgenommen oder so ähnlich.

Einfacher für den Anfang wäre es wohl wenn man die Userverwaltung erstmal weglässt und nur vorgefertigte Accounts vergibt. Am Anfang werden es wohl eher weniger Leute sein, die daran überhaupt Interesse haben.

Ein weiteres Problem wären die verschiedenen Torrentprogramme, Torrentflux basiert ja auf PHP und einer Weboberfläche, da müsste man sich mal schlau machen wie man per Console Torrentdateien hinzufügen kann. rTorrent ist recht schwer zu installieren wenn man die aktuelle Version haben will.

Die automatische Version die man über apt-get bekommt ist hoffnungslos veraltet. (0.6.x) Ich glaube ich habe alleine 8 andere Pakete suchen, herunterladen, selbst kompilieren und einfügen müssen um rTorrent auf den aktuellen Stand zu kriegen. (0.12.x).

Auf der anderen Seite ist rTorrent quasi das einzigste Programm wo man Limits setzen kann. BTPD ist zwar im Vergleich leichter zu installieren, aber da kann man halt nichts limitieren und einstellen.

Dort kann man dann den Gesamttraffic also nicht kontrollieren. Und das wenigste was ich will, ist dass hier jemand für Übertraffic richtig Geld hinlegt, der nicht hätte sein müssen.

Und Übertraffic entsteht schnell, bei einem größern Film aufgeteilt in 2 Teilen, gingen in nur 6 Stunden bei zwei Servern jeweils 20 GB (40 GB insgesamt) über die Leitung.

mira
20.02.2009, 18:18
Was man dafür entwickeln müsste:

Webseite mit Login für jeden Trafficspender
Diese müssen eintragen können:
- Maximaler Traffic im Monat oder zeitbasierend
- Zeitpunkt wann der Traffic anfallen darf
- Wie viel Plattenplatz sie zur Verfügung stellen

[...]

Desweiteren wäre eine Koorperation mit einem großen Mirror oder einem Distro sinnvoll da so die otrkeys wahrscheinlich wesentlich schneller auf den Servern landen würden und man könnte dann auch als erst-Seeder auftreten.

Wie gesagt wenn jemand das ganze Programmieren würde, wäre ich gerne bereit mehrere 100gb ins Torrent-System reinzupumpen :)


gruß

serien_mirror08
10.03.2009, 14:13
Und was ich mir auch noch überlegt hatte. OTR bietet einen RSS Feed der OTR Key Dateien an. Mit einem angepassten PHP Script sollte es möglich sein sich die Dateien mit den meisten Leechern rauszupicken. Dann müsste die Dateiverteilung noch sinnvoll gelöst werden damit der Traffic ungefähr nach Bedarf verteilt wird.

Das könnte man lösen indem nur einer die Torrentdateien generiert, die Dateien Anhand der Leecher vorsortiert und die Torrentdateien dann der Reihe nach an die anfragenden Clients verteilt.

Anmerkungen Fragen ? Oder vielleicht jemand der da auch etwas Zeit investieren kann? Das ganze zu erweitern, das RSS PHP Script bauen kann u.s.w. .

Ich könnte dieses PHP Skript erstellen und vom Server aus abrufbar machen.
Allerdings bräucht ich dafür noch einige Informationen.

Welches RSS Feed meinst du ?

Außerdem hätte ich noch eine Idee. Du sagst, dass man die Torrentdateien dann erstellen soll nach einem logischen System. Man könnte eine API mit Datenbank bereitstellen die verschiedenste Informationen zu den Dateien enthält. Die Clients können dann aus der Liste die Informationen abfragen und die Torrentdatei local generieren und den Seed starten.

mira
10.03.2009, 17:10
Die Clients können dann aus der Liste die Informationen abfragen und die Torrentdatei local generieren und den Seed starten.

Oder einfach per

wget http://81.95.11.2/xbt/xbt_torrent_create.php?filename=$file&userid=$id&mode=free&hash=$hash&user=pass
saugen ;)

gruß

mira
10.03.2009, 18:12
Zusätzlich könnte man in die DB schreiben, wieoft es schon abgerufen wurde etc. und nat. könnte man auch Daten zurückliefern.

* welches Ordnungsprinzip man für die Keys verwendet müsste man sich noch überlegen
ein Bsp. wäre 1.Priorität: Anzahl der Leecher/Seeder
2. Priorität: Anzahl der Abfragen durch die API
3. Priorität: Rang in den Top Aufnahmen vom Vortag
etc. (was könnte man noch verwenden ?)

Wäre das ein gutes Konzept für eine solche kleine API um die Clients zu unterstützen

Desweiteren ist glaube ich für so etwas ein Account system nicht schlecht in dem sollte dann u.a. stehen wer wieviele und welche datein im seed hat, dann wäre es glaube ich gut wenn man einen großen Mirror hat von dem man die Dateien dann saugen kann (so sind die Datein wesentlich schneller verfügbar).

gruß

mira
11.03.2009, 16:25
Du verwechselst da was.

Mit snmp meinte ich die abfrage der momentanen Netzwerkauslastung der server ;)

Zum Thema Voting, und Seitenerstellung. Wäre denke eine extra Seite am besten, das macht das ganze zwar noch etwas aufwändiger aber das könnte ja später gemacht werden.


gruß

//edit: hab das ding mal auf mein Server geladen. Bekommst link per PM

serien_mirror08
11.03.2009, 17:03
Mit snmp meinte ich die abfrage der momentanen Netzwerkauslastung der server ;)

Zum Thema Voting, und Seitenerstellung. Wäre denke eine extra Seite am besten, das macht das ganze zwar noch etwas aufwändiger aber das könnte ja später gemacht werden.


gruß

//edit: hab das ding mal auf mein Server geladen. Bekommst link per PM

Vielen Dank ich werde in kürze ein Brainstorming zum Thema veröffentlichen !

:D

Gut ich beginne jetzt an der API zu arbeiten.
Ein Problem das mir ganz am Anfang einfällt.

Es sollte ja so einfach wie möglich sein an dem System mitwirken zu können.

Aber die Erstellung des Torrents durch OTR erfordert einen Premiumaccount - richtig ?

mira
11.03.2009, 19:09
Vielen Dank ich werde in kürze ein Brainstorming zum Thema veröffentlichen !

:D

Gut ich beginne jetzt an der API zu arbeiten.
Ein Problem das mir ganz am Anfang einfällt.

Es sollte ja so einfach wie möglich sein an dem System mitwirken zu können.

Aber die Erstellung des Torrents durch OTR erfordert einen Premiumaccount - richtig ?

Nach meinem Wissen wird nur eine positive ratio(>0,1) vorrausgesetzt, oder?

gruß

serien_mirror08
11.03.2009, 20:31
Ich verstehe was du meinst und finde es einleuchtend das es dir lieber ist wenn kein Webserver + PHP Modul für die Clients nötig ist, deswegen habe ich es mir so geacht.

Die Clients schicken eine Anfrage und downloaden das Ergebnis in eine Datei:

wget http://url.tld/request.php?rank=

(Die API gibt den Title zurück und der wird in der Datei gespeichert)
Dann kann der Client mit einem Shell Skript den Titel aus der Datei lesen und gleich die Torrent erstellen.

Somit benötigt man kein PHP ,alles läuft automatisiert beim Client ab.

Suxxess
11.03.2009, 20:51
Die Clients schicken eine Anfrage und downloaden das Ergebnis in eine Datei:

wget http://url.tld/request.php?rank=
Wenn das klappt, dann wäre das natürlich optimal.
Soll der Mysql Server mit den Anfragen gleichzeitig noch Informationen von den Clients erhalten? z.B. welche Dateien er gerade im Seed hat?

Soll der Mysql Server dann überhaupt wissen wer da eine Anfrage stellt?
(Um eine Auswertung u.s.w. zu erreichen)

Man kann den Mysql Server natürlich auch nur zum Raushauen der Filenamen benutzen. Ob der Client die Datei dann auch wirklich shared sieht er dann ja spätentens wenn er in 15 Minuten den RSS Feed neu auswertet. Wenn nicht wird die Datei halt 15 Minuten später an den nächsten Client rausgegeben.

Die Traffickontrolle + die Überwachung des Speicherplatzes könnte man ebenfalls dem Client überlassen.

serien_mirror08
11.03.2009, 20:56
Wenn das klappt, dann wäre das natürlich optimal.
Soll der Mysql Server mit den Anfragen gleichzeitig noch Informationen von den Clients erhalten? z.B. welche Dateien gerade im Seed haben?

Soll der Mysql Server dann überhaupt wissen wer da eine Anfrage stellt?
(Um eine Auswertung u.s.w. zu erreichen)


Für eine Auswertung wäre das Zurückliefern natürlich nötig.
Ich würde ein kleines Formular vorschlagen in dem man sich schnell eine uid zulegen kann mit der man dann auf die API Zugriff erhält

also:

api.php?uid=&hash(das passwort)=&rank=

Und dann käme natürlich noch das Voting hinzu - das das momentane Ranking der Files ausgibt und durch Voting im Ranking weiter nach oben wandern können.

Ich kann dann bei allen Dateien die auf meinem Mirror angeboten werden als alternativen Download immer den Torrentdownload verlinken - damit es mehr Interessenten gibt.

lg

Suxxess
11.03.2009, 22:21
Ja schau mal was du schickes hinkriegst. :D
Und keinen Stress, wahrscheinlich wird es wie du schon sagtest eh nur was für Insider. Aber erstmal einen Anfang machen, dann kann man weiterschauen. :)

Suxxess
13.03.2009, 19:43
Also erstmal sehr schick. ;) Hast du die ganzen Sachen aus dem Hut gezaubert oder irgendwo schon vorbereitet? Die Umsetzung ging ja quasi on the fly!

@Daniel

So wie ich das verstanden habe wird die Liste alle 10 Minuten aktualisiert.
Das führt wahrscheinlich dazu, dass andere Torrentdateien an die Clients rausgegeben werden auch wenn sie quasi die selbe ID anfordern.

Wobei die Server ja erstmal selbst zu Leechern werden bevor sie zu Seedern werden, von daher hast du schon Recht. Da kann man später immer noch einen anderen Mix reinbringen wenn der nicht sogar schon vorhanden ist.

Ich setz mich gleich ran und bau ein Installscript / API-Ansprech Script. Also schon mal super Arbeit serien_mirror08!

serien_mirror08
13.03.2009, 21:08
Hallo!

Ich habe einen Verbesserungsvorschlag zu dem System. Ich würde zusätzlich ein Feld in die Datenbank nehmen, wie oft eine bestimmte Datei über die API herausgegeben wurde. Diese Zahl würde ich temporär zu den seedern hinzuzählen und einmal pro Stunde wieder um 1 verrigern (bis wieder 0). [...]



So ein Feld gibt es schon wird aber im Moment für die Auflistung noch nicht berücksichtigt. Wird in den nächsten Tagen eingebaut.




By the way: Ich nutze die kleine API schon produktiv :-)



Freut mich.
Darf man fragen für was =)


Also erstmal sehr schick. ;) Hast du die ganzen Sachen aus dem Hut gezaubert oder irgendwo schon vorbereitet? Die Umsetzung ging ja quasi on the fly!


Danke. Nein ich hatte nichts vorbereitet und habe mich gestern deshalb mal zeitintensiv damit beschäftigt :D



Ich setz mich gleich ran und bau ein Installscript / API-Ansprech Script. Also schon mal super Arbeit serien_mirror08!

Sehr gut. Ich versuche die Votingliste hinzukriegen !

D/ iel
14.03.2009, 00:01
Darf man fragen für was =)

Betreibe ja den kleinen Sputnik-mirror dem Du vielleicht mal bei otrsearch.com in der Ergebnis-Liste gesehen haben könntest. Die Dateien auf dem mirror hab ich ja schon immer per bittorrent verteilt. Habe mich jetzt dazu entschlossen den diekten download abzustellen und nur noch per torrent zu seeden. Dann ist mehr Kapazität (1-2TB im Monat) für das Torrent-Netz da. Auf die 2 Euro im Monat von der Bannerwerbung kann ich gerade noch verzichten ;) . Die API nutze ich jetzt um die passenden otrkeys zu finden, wenn ich noch Platz oder Kapazitäten übrig habe die ich stopfen möchte. Bei mir läuft ein selbstgestricktes Kuddelmuddel von shellscripts und etwas python. So gesehen nutze ich dann nur die API und nicht die scripts die gerade in Entwicklung sind.

Gutes Nächtle

serien_mirror08
14.03.2009, 08:02
Bei mir läuft ein selbstgestricktes Kuddelmuddel von shellscripts und etwas python. So gesehen nutze ich dann nur die API und nicht die scripts die gerade in Entwicklung sind.

Gutes Nächtle

Im Prinzip ist es ja egal ob du es dir selbst schreibst oder das vorgefertigte nimmst. Für die Großzahl an Clients wird aber ein vorgefertigtes angenehmer sein.

Eine Frage zur Priorität:

Angenommen ich habe ein File mit 2 Seeder und 4 Leecher.
==> Eine Ratio von 0,5

Wenn jetzt ein Client via API das File abfragt sollte ich ja die Ratio erhöhen, damit das File weiter unten steht. Prinzipiell werden alle Files alle 10 Minuten neu eingelesen und die Ratio neu berechnet.

Hättet ihr also eine Idee wie lange eine Clientabfrage einfluss haben sollte ?

M.C.S.
14.03.2009, 08:08
Moin moin,

da mir 5 Thread-Seiten gerade zu viel zum Durchlesen sind und ich gehirntechnisch eh ziemlich ausgelaugt bin:
Könntet ihr den Kern des Threads (API, Scripte, Manual, Howto) eventuell in eine dedizierte Wiki-Page auslagern? Das würde bestimmt mir und anderen gewillten Unterstützern das Teilnehmen am Torrent-Mirror-System vereinfachen. Momentan lade ich die Torrent-Dateien zu den auf meinem Mirror vorhandenen OTRKEYs nämlich noch von Hand auf den Server, aber anscheinend wird hier ja daran gearbeitet, dass es auch besser geht :)

Danke im Voraus,
M.C.S.

Suxxess
14.03.2009, 21:20
Das Betascript für das Torrentprogramm btpd ist fertig.
Das Installationsscript dazu fehlt zwar noch, aber Ihr könnt ja schon mal kucken. Nicht als root ausführen!

1) Dazu solltet Ihr einen Nutzer erstellen z.B. otr .

2) Diese start.sh ( http://85.14.217.70/start.sh ) herunterladen und ins
Homeverzeichnis des Nutzers legen.

3) Später könnt Ihr das Programm dann als Cronjob jede Stunde 1x ausführen
lassen. (Jede Stunde kommt dann ein Torrent hinzu. Sollte das
Speicherlimit überschritten werden, wird jeweils die zuerst hinzugefügte
Datei gelöscht)

4) btpd muss bereits installiert sein, nehmt alle eventuellen Torrentdateien
heraus beendet btpd und ruft es mit dem Nutzer z.B. otr wieder auf

5) Wenn Ihr zu schnell hintereinander eine Datei anfordert, könnte sich
das Script verschlucken wenn es die selbe Datei vom API Server erhält

6) Fehlermeldungen wie: Datei schon vorhanden werden noch nicht
abgefangen. Also nicht aufregen wenn es mal eine Fehlermeldung gibt.
Desweiteren ist es ja ein Betascript. Benutzung auf eigene Gefahr. Achtet
bitte auf euren Traffic! Anmerkungen, Verbesserungen u.s.w. bitte zu mir!

7) Ediert jetzt bitte die start.sh und tragt eure userid + hash von OTR + die
Userid + Hash vom API Server ein. (Registrierung dafür findet ihr auf den
vorigen Seiten), ich habe mir die Mühe gemacht alles zu kommentieren.

Solltet Ihr btpd neu starten, wird ebenfalls der Trafficverbrauch auf 0
gesetzt! Wie gesagt achtet auf euren Traffic und setzt das Limit um den
bereits verbrauchten Traffic runter und rechnet einen Puffer ein!

8) sh start.sh ausführen (mit dem zuvor erstellten Benutzerkonto) :p

Suxxess
14.03.2009, 21:31
@serien_mirror08
Was mir noch aufgefallen war beim Testen

Vielleicht sollte man Dateien bei denen es schon ein paar Seeder gibt und noch genügend Leecher etwas bevorzugen. Wenn es nur den Quellseed von OTR gibt, dann dümpelt man so dahin ohne das wirklich was passiert da keiner die Datei hat.

Später kann man es ja noch mit den direkten Download von einem Mirror / Distro verknüpft werden dann macht es viel mehr Sinn, aber im Moment wäre es besser wenn man primär die beliebten Dateien unterstützt da ansonten kein Traffic bei rumkommt.

*Edit*
Man bist du schnell..
Ich dachte mir eher, dass das Script später eh nur jeder Stunde aufgerufen wird.
Und dann gebe es das Problem nicht. Er holt sich jede Stunde dann immer eine neue Torrentdatei bis er anfängt die Ältesten rauszuwerfen.

Ansonsten kann man das mit einem IP Check machen?
Alternativ kann man natürlich noch eine Schleife einbauen und damit die Variable rank immer um eins erhöhen?

serien_mirror08
14.03.2009, 21:35
@serien_mirror08
Was mir noch aufgefallen war beim Testen

Vielleicht sollte man Dateien bei denen es schon ein paar Seeder gibt und noch genügend Leecher etwas bevorzugen. Wenn es nur den Quellseed von OTR gibt, dann dümpelt man so dahin ohne das wirklich was passiert da keiner die Datei hat.

Später kann man es ja noch mit den direkten Download von einem Mirror / Distro verknüpft werden dann macht es viel mehr Sinn, aber im Moment wäre es besser wenn man primär die beliebten Dateien unterstützt da ansonten kein Traffic bei rumkommt.

Kann ich alles machen. Wie gesagt ich arbeite im Moment noch am Algorithmus für die Priorisierung bzw. das Ranking der Dateien.

Wäre also sehr dankbar wenn ihr mir einige Sachen die ich in das Ranking miteinbeziehen sollte in einer Liste zusammenfassen würdet.

Ich beginn mal mit:

+ Seeder/Leecher Verhältnis
+ Abrufe der Datei durch API

D/ iel
14.03.2009, 21:45
Eine Frage zur Priorität:

Angenommen ich habe ein File mit 2 Seeder und 4 Leecher.
==> Eine Ratio von 0,5

Wenn jetzt ein Client via API das File abfragt sollte ich ja die Ratio erhöhen, damit das File weiter unten steht. Prinzipiell werden alle Files alle 10 Minuten neu eingelesen und die Ratio neu berechnet.

Hättet ihr also eine Idee wie lange eine Clientabfrage einfluss haben sollte ?

Ich würde da schon mindestens eine Stunde vorsehen. Sollte ja grob die Zeit sein, bis zu der ein Unterstützer selbst zum seeder werden kann. Und wenn die torrents ein schlechtes seeder/leetcher-Verhältnis haben sind die ja meist auch recht lahm. Daher würde ich eher eine pessimistischere Zeit wählen und im Gegenzug vielleicht die Gewichtung des zukünftigen seeders reduzieren (0,5?). Den Feinschliff der Werte kann man dann ja eh erst machen wenn ein paar Beta-Tester mitmachen und man das Ganze in der Realität beobachen kann ;)

serien_mirror08
14.03.2009, 21:54
Ich würde da schon mindestens eine Stunde vorsehen. Sollte ja grob die Zeit sein, bis zu der ein Unterstützer selbst zum seeder werden kann. Und wenn die torrents ein schlechtes seeder/leetcher-Verhältnis haben sind die ja meist auch recht lahm. Daher würde ich eher eine pessimistischere Zeit wählen und im Gegenzug vielleicht die Gewichtung des zukünftigen seeders reduzieren (0,5?). Den Feinschliff der Werte kann man dann ja eh erst machen wenn ein paar Beta-Tester mitmachen und man das Ganze in der Realität beobachen kann ;)

OK. Dann werde ich die Dateien nach einer Abfrage mit Seederabsicht um 0,5 erhöhen damit sie weiter unten gelistet wird. :D

Klar die Werte zu optimieren erfordert dann einiges an Erfahrung :)

serien_mirror08
17.03.2009, 14:02
Freut mich dass sich sich einige für dei API angemeldet haben.

Wie sieht es mit dem Clientcode aus ?
Wann werden die ersten Clients online gehen ?

D/ iel
17.03.2009, 17:43
Wäre also sehr dankbar wenn ihr mir einige Sachen die ich in das Ranking miteinbeziehen sollte in einer Liste zusammenfassen würdet.

Ich beginn mal mit:

+ Seeder/Leecher Verhältnis
+ Abrufe der Datei durch API

Man könnte noch die Vergangenheit und somit indirekt wieder die Zukunft einbeziehen (vor allem für Serien o.ä. nützlich):
Nach dem letzten gleichen Titel + gleicher Uhrzeit (damit Wiederholungen nicht plötzlich aufsteigen) + gleichem Sender und gleichem Format suchen. Davon dann die Anzahl der per torrent geladenen Dateien mit einfließen lassen. Zum Beispiel bei mehr als 50 downloads so tun wie wenn ein leecher mehr da wäre. Wer Lust hat kann ja mal eine bessere Logarithmus-Funktion dafür entwickeln ;) . Das müßte man ja nicht alle 10 Minuten prüfen, sondern nur einmalig beim neu auftauchen eines torrents. Nach einer gewissen Zeit könnte der Start-Bonus dann wieder weggenommen werden.

serien_mirror08
17.03.2009, 18:38
Man könnte noch die Vergangenheit und somit indirekt wieder die Zukunft einbeziehen (vor allem für Serien o.ä. nützlich):
Nach dem letzten gleichen Titel + gleicher Uhrzeit (damit Wiederholungen nicht plötzlich aufsteigen) + gleichem Sender und gleichem Format suchen. Davon dann die Anzahl der per torrent geladenen Dateien mit einfließen lassen. Zum Beispiel bei mehr als 50 downloads so tun wie wenn ein leecher mehr da wäre. Wer Lust hat kann ja mal eine bessere Logarithmus-Funktion dafür entwickeln ;) . Das müßte man ja nicht alle 10 Minuten prüfen, sondern nur einmalig beim neu auftauchen eines torrents. Nach einer gewissen Zeit könnte der Start-Bonus dann wieder weggenommen werden.

Auch gute Idee.
Zusätzlich kommt dann auch noch die Votingliste hinzu, die ebenfalls einen gewissen Faktor ausmacht und dann kommt das Gesamtergebniss herraus.

Suxxess
18.03.2009, 18:56
Am WE werde ich mal veruchen das Script dann auch mit Installscript anbieten zu können. Vielleicht noch mit einer Logfilefunktion ;) Unter der Woche habe ich leider selten Zeit.

serien_mirror08
18.03.2009, 19:02
Am WE werde ich mal veruchen das Script dann auch mit Installscript anbieten zu können. Vielleicht noch mit einer Logfilefunktion ;) Unter der Woche habe ich leider selten Zeit.

Alles klar. ;)

D/ iel
19.03.2009, 23:18
Hallo!

Habe noch einen Verbesserungsvorschlag:

Mir ist aufgefallen, dass man Torrents relativ schnell im RSS-feed aus dem Auge verliert. Ich habe zum Beispiel über die API gerade folgenden Vorschlag bekommen:
Stargate_09.03.19_00-15_rtl2_55_TVOON_DE.mpg.avi.otrkey
1 seeder / 3 leecher
Auf dem Tracker läuft aber zum Beispiel noch das auch nicht sooo alte
Im_Rausch_der_Tiefe_09.03.16_21-00_arte_130_TVOON_DE.mpg.avi.otrkey
1 seeder / 9 leecher
was es wirklich nötiger hätte.
Vielleicht sollte man zur Datengewinnung nicht nur den RSS-feed sonder auch den tracker scrape verwenden. Man müßte dazu nur den infohash der Torrents kennen, damit man die scrape-Daten überhaupt zu einem otrkey-Dateinamen zuordnen kann. Den hash wiederum könnte man ja aus den torrent-Files ziehen, die man dann halt laden müßte, sobald sie im feed neu auftauchen.

@serien_mirror08: In was für einer Sprache implementierst du das ganze? Evtl. kann ich ja etwas mithelfen oder alternativ einen Webservice o. ä. bauen welcher die scrape-Daten schon aufbereitet (otrkey, seeder, leecher) liefert.

serien_mirror08
21.03.2009, 18:41
Ich arbeite im Moment mit PHP und einer Datenbank.
@D/
iel: Der Scrape wäre super.

serien_mirror08
22.03.2009, 08:40
Vielen Dank.
Werde es in den nächsten Tagen einbauen.

Suxxess
23.03.2009, 17:52
Ich bin bei Strato, schau mal dazu in die AGB deines Anbieters.
Und Dienste können sie nicht wirklich bremsen, sie können ledigtlich bestimmte (Standart) Ports drosseln lassen per Switch. (btpd kannst du auch auf einen x-beliebigen Port starten lassen)

Generell sieht natürlich ein Anbieter nicht gerne, dass man Torrent nutzt, da man wohl in 95% der Fälle davon ausgegangenen werden kann, dass keine rechtsfreien Sachen getauscht werden. (B.z.w. der Anbieter vermarktet zwar 1000 GB Traffic und mehr, wirklich verdienen tut er aber nur an dir wenn man diese Trafficmenge nicht wirklich ausnutzt. Stichwort Mischkalkulation)

serien_mirror08
23.03.2009, 18:11
Meist werden Ports gedrosselt wenn der Traffic über Torrent zu stark ist. Dann kann man entweder den Torrentdienst auf nem anderen Port starten oder eine Verschlüsselung (glaub SSL ?) einsetzten - Dies kann dann weder der Provider noch sonst irgendwer von anderen Traffic unterscheiden.

speaker91
24.03.2009, 18:58
Hallihallo OTR-Community.

Ich habe diesen ganzen Thread durchgelesen und finde diese Idee klasse. :D

Wann wird das gesamte Projekt mal online gehen ?

Also sodass alle Scripts, etc funktionieren und alles automatisch abläuft ?

mfg
speaker

serien_mirror08
24.03.2009, 19:13
Hallihallo OTR-Community.

Ich habe diesen ganzen Thread durchgelesen und finde diese Idee klasse. :D

Wann wird das gesamte Projekt mal online gehen ?

Also sodass alle Scripts, etc funktionieren und alles automatisch abläuft ?

mfg
speaker

Du könntest dich auf jeden Fall schon einmal für die API registrieren und damit vertraut machen. Obwohl das Vertraut machen, nicht unbedingt nötig ist, weil es später das Skript automatisch erledigen wird. :D

Wulffi
26.03.2009, 13:11
Hallo zusammen,

ich bin es nochmal ;)
Also ich habe mir jetzt einen zweiten VServer angemietet und werde wahrscheinlich so um die 75GB im Monat sharen können...

Somit gefährde ich den anderen Server nicht und irgendwie werde ich schon das Geld zusammen bekommen :)

Also...wer ist hier im Moment noch dabei und wie viel Traffic wird freigegeben? (muss doch mal neugierig sein)

Suxxess
26.03.2009, 19:27
Wann wird das gesamte Projekt mal online gehen ?
Auf der vorigen Seite kannst du das Script inklusive Installationsscript herunterladen. Und auf den Seiten davor kannst du dich für den API Server anmelden.

Also laufen tut die Geschichte bereits. Das Script ist zwar in der Betaphase, aber das bedeutet ledigtlich, dass Ihr euren Traffic und die richtige Funktionsweise des Scriptes im Auge haben solltet. Sollte etwas nicht wie gewünscht laufen, so könnt Ihr das gerne melden.

serien_mirror08
31.03.2009, 13:59
Ich weiß schon was du planst, allerdings hätte ich gedacht, das wir die einst schon einmal aufgegriffenen Ideen eines Trafficzählsystem verwerfen, da es viel zu einfach manipulierbar ist und mehr Leute verärgert als erfreut.
Ich werde auf jeden Fall am Wochenende mal eine Beta des Votingsystems rausbringen.

Suxxess
31.03.2009, 20:40
Du missverstehst mich, das ist im Moment für keine Statistik gedacht, sondern dass die Teilnehmer einen Status über Ihre Torrents online sehen können. (Und später dann eventuell die Verwaltung darüber erledigen könnten.)

Denkbar wäre ebenfalls, dass man sich die Torrents, die man hinzufügen könnte, dann auswählen kann u.s.w. . Also quasi alles nochmal vereinfachen. Das würde dann eventuell die Akzeptanz deutlich erhöhen? :confused:

serien_mirror08
31.03.2009, 20:48
Du missverstehst mich, das ist im Moment für keine Statistik gedacht, sondern dass die Teilnehmer einen Status über Ihre Torrents online sehen können. (Und später dann eventuell die Verwaltung darüber erledigen könnten.)

Denkbar wäre ebenfalls, dass man sich die Torrents, die man hinzufügen könnte, dann auswählen kann u.s.w. . Also quasi alles nochmal vereinfachen. Das würde dann eventuell die Akzeptanz deutlich erhöhen? :confused:

Du darfst nicht glauben, dass ein User der es schafft einen Linux Server aufzusetzen und ein solches Skript installiert es nicht schafft soetwas local zu verwalten. Wenn du so ein System planst, dann würde ich das unbedingt local machen, sprich zum System(Skript) selbst hinzufügen. Wäre ja instabil und sinnlos dafür nen eigenen Server zu betreiben. Wie gesagt ich glaube, dass man es als User lieber hat wenn die Verwaltung auf seinem eigenen Server verläuft und nicht von fremden gesteuert wird. Zumindest hätte ich dabei kein gutes Gefühl.
Was meint der Rest dazu ?

Suxxess
01.04.2009, 22:13
Achso :o , neh laufen sollte es eh wie bisher automatisch. Mir ging es nur um eine leichtere Übersicht mit optionalen Einstellmöglichkeiten. Und was ebenfalls ein Grund war, die Trafficstatistik ist falsch sobald der Dienst mal abstürzt / oder neugestartet wird.

Sollten die Werte aber regelmässig in eine Datenbank kommen, dann wäre diese Schwachstelle schon mal ausgemerzt. Desweiteren wäre es auch leichter möglich doppelte Torrents bei den Anfragen zu vermeiden. Das Script dann ebenfals frei zugänglich zu machen wäre jetzt weniger das Problem, dann könnte jeder seine eigene Auswertung auf seinem eigenen Server installieren.

Aber in meinen Augen macht das weniger Sinn, weil dann braucht jeder zwingend einen Webserver, PHP, Mysql u.s.w. und der Hauptvorteil würde wegfallen. (Das quasi ein Server die Übersicht behält an welchen Client er jetzt welche Torrentdatei ausgespuckt hat und anhand der zurückgegebenen Trafficwerte dann auch ausrechnen könnte ob die Datei mehr Verteiler nötig hat oder nicht.) Dein Votescript wäre auch wesentlich schwieriger zu realisieren wenn jeder nur seinen eigenen Datenbankserver befragt welche datei als nächstes rankommen soll. (Tiger & Dragon hat übrigend gerade einen Rekord gebrochen 48x1,35 GB nur diese Datei geuppt. :)

Suxxess
03.04.2009, 21:27
Das Script wurde etwas überarbeitet:
http://tauschkauf.biz/torrentscript.tar.gz

Viel Spass damit

@ Destruction
Lad dir das von mir verlinkte Script und probier es aus.
Traffic trotzdem regelmässig checken;D

Destruction
03.04.2009, 21:36
Lol habe das hier nicht alles verfolgt: Geht nun alles und gibts das nun?

Suxxess
07.04.2009, 13:25
Die Überlegung war, dass man nur bei einer Zentralisierung der Daten controllen kann wer gerade welche Torrentdatei pusht. Angenommen 5 Server holen sich von deiner Schnittstelle gleichzeitig die selbe Datei. Dann haben wir eine Datei mit zuvielen Seedern und der Rest geht leer aus. (Also kurz gefasst, die Verteilung könnte dadrunter leiden)

Die zweite Überlegung war, dass der Anwender dann kein extra Interface bei sich installieren muss, wenn wir jetzt doch auf Apache + PHP gehen, dann ist diese Überlegung hinfällig.

serien_mirror08
07.04.2009, 13:27
Die Überlegung war, dass man nur bei einer Zentralisierung der Daten controllen kann wer gerade welche Torrentdatei pusht. Angenommen 5 Server holen sich von deiner Schnittstelle gleichzeitig die selbe Datei. Dann haben wir eine Datei mit zuvielen Seedern und der Rest geht leer aus. (Also kurz gefasst, die Verteilung könnte dadrunter leiden)

Die zweite Überlegung war, dass der Anwender dann kein extra Interface bei sich installieren muss, wenn wir jetzt doch auf Apache + PHP gehen, dann ist diese Überlegung hinfällig.

Erste Überlegung verstehe ich. Aber zweite, welche unter anderem die Auflistung umfasst, ist, wie du selbst sagst, hinfällig und deswegen würde ich die beim Client laufen lassen. Denn ganz ehrlich, hast du schon mal gehört, dass jemand ein Webinterface seines Programmes auf nem fremden Server laufen lässt ?

Suxxess
07.04.2009, 13:41
Jepp, es gibt ein CRM (Kundenverwaltungstool) und das rennt völlig browsergestützt auf dem Server des Anbieters. Aber vom Grundgedanken hast du natürlich Recht.

Wenn es dann allerdings beim jeweiligen Anwender laufen soll, wie z.B. ein installierbares Forum oder so, dann sollte man eine Funktion einbauen mit der die gerade gesaugten Torrents einer einzigen Datenbank gemeldet werden. Man könnte das ja als hinzuschaltbare Option einbauen. Wie du vor ein paar Seiten ja schon selbst angemerkt hast, woher soll deine API wissen, ob eine Torrentdatei jetzt tatsächlich geseedet wird oder der Download doch noch abgebrochen wurde? :confused:

serien_mirror08
01.05.2009, 14:16
Leider muss ich verkünden dass auch unser Mirror ink. API geschlossen wird.
Näheres findet ihr auf der Startseite vom Mirror.

D/ iel
01.05.2009, 16:37
Aber warum die API deaktivieren? Über die Schnittstelle bekommt man ja nicht mal das Torrent-File sondern nur den Namen als Info. Ist ja nicht so wie die Beihilfe von The Pirate Bay o.ä. ;-)

serien_mirror08
01.05.2009, 16:43
Aber warum die API deaktivieren? Über die Schnittstelle bekommt man ja nicht mal das Torrent-File sondern nur den Namen als Info. Ist ja nicht so wie die Beihilfe von The Pirate Bay o.ä. ;-)

Wenn du schon das Bsp. von TPB bringst; welche Beihilfe haben die geleistet ?

Cineatic
01.05.2009, 16:45
An dieser Stelle eine Bitte:

Bitte zurück zum eigentlichen Thema! Ansonsten müsste der Thread geschlossen werden!

Suxxess
23.05.2009, 14:35
Es ist mir gelungen die API nachzubauen und in das Script zu integrieren.

Ihr benötigt daher keine API Anmeldung mehr und das Script funktioniert damit völlig eigenständig. Das Script steht unter der GPL und wurde in den letzten Wochen auch noch angepasst und etwas getestet. Benutzung auf eigene Gefahr, ich übernehme keine Haftung. Weiterentwicklung ausdrücklich erwünscht. :)

Die Anleitung sowie das Script dazu findet Ihr wie gehabt hier:
http://www.tauschkauf.biz/torrent/

Leider müsst ihr die Scripte selbst noch mit eurem Hash und eurer Userid füttern, sowie eure eigene Datenbank angeben und anlegen. Also schon etwas komplizierter, ich bin gespannt wer es als erster schafft;) Bei Fragen oder Problemen fragt einfach.

Suxxess
24.05.2009, 17:14
Erstmal danke für das Feedback.
Bei der Datenbank hatte ich ein Teil der Struktur aus einem anderen Projekt übernommen. Ich werde die Datei anpassen damit es stimmt.

1) Der PK in der users Tabelle kann eigentlich raus da sie nicht gebraucht wird.
2) Das mit dem includen ist eine gute Idee, ich werde auch das ändern
3) Das man auch eine anderen Nutzer als btpd nutzen kann ist leider noch nicht ausgereift :( Ich empfehle daher dieses erstmal so zu übernehmen mit dem btpd Nutzer.

Die Programme awk, sed und tail hast du installiert?

Gehen wir es mal durch: Log dich mal in die Konsole ein als btpd Nutzer.
Ediere mal die test.sh und setze vor die Zeile 63 eine Raute.
(rm request.php* )

Führe dann mal folgenden Befehl aus:
sh test.sh 8

Er müsste dann deine request.php aufrufen und herunterladen. In dieser müsste dann der Dateiname der Torrentdatei mit der ID 8 stehen.
(Wenn nicht gibt es wahrscheinlich einen Fehler in der request.php)

Schau einfach ob er den Dateinamen richtig in die request.php schreibt, dann kannst du sie wieder löschen.

Anschließend nimmt er den Dateinamen und lässt sich die Torrentdatei vom OTR Server generieren und speichert diese im Torrentordner ab.

Danach fügt er die Datei zu deinem Client hinzu.
Kontrolliere also ob er die Torrentdatei richtig erstellt hat.

Ok mal angenommen er übernimmt die Datei richtig in btpd (btcli list zeigt sie an), zeigt sie online aber nicht an. Dann kontrollieren wir ob er die Anzeige richtig in die test.txt schreibt. Öffne dazu einfach die test.txt in mc .
(Sollte das nicht der Fall sein so fehlt dir der awk, sed oder tail Befehl.)

Nun geh bitte mal in deine Datenbank und schau in die torrent Tabelle.
Stehen dort deine aktuellen Torrentdateien drin (Vorher mal auf aktualisieren in der Oberfläche klicken oder einfach die test.sh ausführen)

Sollten sie nicht in der Datanbank gespeichert sein, sie aber in deiner test.txt stehen, so
könnte die Email in der letzten Zeile z.B. nicht mit der in der Datenbank übereinstimmen.

Die suoders Einstellungen sind schon mal richtig, ansonsten könntest du den Client nicht stoppen und wieder starten. Vielen Dank, dass du dich als Betatester opferst. :)

Suxxess
25.05.2009, 16:28
/var/lib/btpd/files/home/btpd/...
Das ist schon mal komisch, ich hatte eigentlich darauf geachtet, dass immer der absolute Pfad drinsteht.

Die test.sh liegt bei dir auch im Heimverzeichnis deines btpd Users?
Normal wäre die Struktur gewesen:

/home/btpd/files/ => downloads
=> torrents

Kannst du mir die Zeilen schreiben, wo man die Anweisungen mit den Breaks besser anders schreibt? Oder mir deine angepasste test.sh zukommen lassen (PM)? (Natürlich ohne deine Daten)

Sich jede Stunde eine neue Datei zu ziehen mit einem 5er Limit ist auch nicht optimal. Wie du schon sagtest, dann hat man die Datei kaum fertiggeladen und schon fliegt sie wieder aus dem Share.

Ich verwende z.B. 4 Stunden bei 10 gleichzeitigen Dateien. Damit würde die älteste Datei erst nach zirca 2 Tagen aus dem Share fliegen. Diese Art der Verteilung eignet sich ja primär dazu die besonders beliebten Dateien zu verteilen um die Mirror zu entlasten. (z.B. der Rekord liegt bei mir mit Sakrileg bei 85 Mal hochgeladen. :D ) (Bin damit bei einer 8-10 Ratio im Durchschnitt jenachdem ob beliebte Sendungen liefen oder nicht)

Wie du schon bemerkt hast, bei nur einem Leecher bringt es gar nichts da der Server die Datei ja auch nur von anderen Nutzern erhält, dann ist er sogar kontraproduktiv.

Mit dem top10 Befehl, der sich eine der 10 Dateien mit den meisten Leechern rauspickt, hab ich schon versucht die automatische Auswahl zu optimieren. (Auch im Hinblick, dass vielleicht weitere Verteilserver dazukommen, damit pickt sich nicht jeder mit dem Script immer die selbe Datei. Wäre ja auch doof wenn bei 4 Anfragen sich 3 Server die Datei gegenseitig zuschieben. ;) )

Wie gesagt, primär eignet sich die Methode für häufig angefragte Dateien.
Bei nur einem Leecher macht die Geschichte auch keinen Sinn mehr.

Die Dateinamen stehen ja schon in der Datenbank, eine Zusammenarbeit mit einem Mirrordienst wäre damit denkbar. Die Frage wäre nur, welcher Mirrordienst würde sowas freiwillig tun, denn jeder Torrentnutzer besucht seine Mirrorseite nicht mehr. (Keine Werbeeinahmen)

mira
25.05.2009, 16:53
Wenn das gewünscht ist kann ich ggf. ein kleines Script basteln welches einen Downloadlink zurückgibt wenn auf meinem Server noch etwas an Leitung frei ist.
Allerdings würde sich dann jeder, der das nutzen will, mir ne mail schreiben damit ich ein wenig Sicherheit habe und das ganze nicht missbraucht wird.
http://otr.pc-digital.info/torrent.php?user=u1&hash=hash&file=file würde dann einen Downloadlink zurückgeben.


gruß

Suxxess
25.05.2009, 21:09
Das hört sich ja schon mal gut an :). Danke mira.
Man müsste sich dann allerdings einigen wie niedrig oder hoch die Leecheranzahl sein soll damit der Server sich die Datei von deinem Server holt.

Bei 1 Leecher ist es zwecklos, da soll der sich doch bitte direkt beim Mirror bedienen.
Ab 2 - 3 Leuten wäre es dann schon interessanter, aber sollte es dort eine Obergrenze geben? Bei z.B. 10 Leute, kann man doch annehmen, dass die Datei ausreichend verfügbar ist.

Dank uTorrent und Webseed ist es für die Nutzer ja recht simpel selbst für eine verfügbare Quelle zu sorgen. (Und dabei sogar einen Mirror besucht zu haben)

mira
25.05.2009, 21:15
Bei 1 Leecher ist es zwecklos, da soll der sich doch bitte direkt beim Mirror bedienen.
Ab 2 - 3 Leuten wäre es dann schon interessanter, aber sollte es dort eine Obergrenze geben? Bei z.B. 10 Leute, kann man doch annehmen, dass die Datei ausreichend verfügbar ist.

Das müsste man denke ich ausprobieren und je nachdem anpassen aber ich denke das bei 2-3 Leuten die Datei noch vom Mirror geladen werden sollte weil das ganze sonnst zu lange dauert. Aber das kommt dann auch wieder darauf an wieviel Leecher da sind und ob evtl ein anderer Server die Datei berreits seedet.


gruß

Suxxess
29.05.2009, 19:24
Jetzt ist ja langes Wochenende und ich hab mehr Zeit. :)
Ich habe schon mal getestet ob es zu Problemen mit btpd kommt wenn man die Datei vorher runterläd und dann erst verteilt.

Und nein es geht ohne Probleme. Zuerst allerdings wollte er eine Datei überhaupt nicht weiterverteilen, bis ich bemerkt habe, dass es daran liegt, dass alle schon versorgt waren. Hab die Daten dann mal selbst mit meinem Rechner gezogen.

Natürlich Vollspeed und deiner war leider etwas schneller..., oller Angeber :p
http://img39.imageshack.us/img39/6587/nicei.jpg

Ich werde mich am WE mal hinsetzen und schauen wie ich das Script anpassen kann.
*Edit*

Die Dateinamen mit den meisten Leechern auszulesen war recht leicht. Ich habe mal mira angeschrieben und mal für dich M.C.S. und mich so einen Zugang angefordert. Mal schauen wie fix er ist;)

M.C.S.
30.05.2009, 07:26
Ich hab die letzten Tage auch immer mal wieder OTRKEYs so auf den Torrent-Mirror geladen. Allerdings habe ich vorher das Torrent immer mit btcli del <Torrent-Nummer> entfernt, dann das unvollständige OTRKEY durch das komplette ersetzt und abschließend das Torrent wieder in die Queue aufgenommen.

Dein verlinktes Bild will übrigens bei mir nicht angezeigt werden. War wohl zu kriminell für imaheshack :D

So, Wochenende. Mein Kleiner zerrt an mir und will Zug fahren :D

Suxxess
30.05.2009, 12:03
Beim Bild musst du den Link in einen frisch geöffneten Browser öffnen. Wenn du also gerade mit dem Firefox surfst, dann mach den IE neu auf und lade dort das Bild. Der Verweisschutz von dem Imagehoster ist etwas komisch...

Suxxess
31.05.2009, 17:08
So, habs jetzt schon mal etwas getestet und bei mir läuft es schon mal.
Die Änderungen waren alles wunderbar und gut durchdacht, danke schön :)

Ich habe die geänderten Dateien mal mitangehängt.
Du brauchst eigentlich nur die torrentmirror.php und test.sh ersetzen.
Bei der test.sh musst du wieder deine Daten eintragen.

Ich hoffe, dass Mira dir inzwischen auch die Zugangsadaten geschickt hat.

Er prüft bei 3 oder mehr Leechern ob die Dateien auf dem Mirror von Mira vorhanden sind, wenn nicht wird sie normal hinzugefügt, ansonsten downloaded er sie. Das macht sich bemerkbar indem beim Hinzufügen die Sanduhr nicht mehr verschwindet und man die Oberfläche solange nicht nutzen kann.

Wenn der Mirror gerade viel zu tun hat kann das dann leider etwas dauern. (Den Status kann man in der error_log vom Apachen2 Server z.b:
Bei mir unter /var/log/apache2/error_log einsehen)

Wenn er mit dem vorladen fertig ist, wird die Torrentdatei normal hinzugefügt und man startet bei 100% Dateiverfügbarkeit. ;)

Der nächste Punkt wird wohl sein, sich eine Methode zu überlegen wie Mira auch davon etwas hat, dass er die Daten bereitstellt. :confused:

mira
31.05.2009, 19:46
Ich hoffe, dass Mira dir inzwischen auch die Zugangsadaten geschickt hat.

Der nächste Punkt wird wohl sein, sich eine Methode zu überlegen wie Mira auch davon etwas hat, dass er die Daten bereitstellt. :confused:

Öhm ja die Daten sind jetzt auch an M.C.S. gesendet, und ihr seid ja erst 2 da kommt ja noch nicht so ein extremer Traffic zusammen ich muss mal sehen wie sich das auswirkt ;)

gruß

mira
01.06.2009, 09:35
Naja man müsste irgendwo Zentral eine Datenbank haben in welcher alle, von Servern geseedete, Dateien stehen. Weil wie M.C.S. schon sagt, wenn erstmal ein Server am Seeden ist geht es relativ schnell voran.



gruß

M.C.S.
04.06.2009, 10:25
Okay, ich denke ich verstehe deinen Lösungsansatz. Sieht gut aus, auch wenn ich es erst später testen kann.

Seit dem Update habe ich das Problem, dass bei mir in die torrent-Tabelle nichts mehr reingeschrieben wird. Da ich ab und zu an den Datein rumspiele, wüsste ich gerne, ob bei euch/dir da was reingeschrieben wird oder ob das Problem nur bei mir besteht. - Durch das Nichtschreiben in die Tabelle werden zurzeit alte Torrents nicht mehr aus der Warteschlange entfernt. Außerdem könnte man die Tabelle (wenn sie funktionieren würde) auch für das Problem des doppelten Downloadens verwenden: Der Zufallsgenerator wählt einfach eine Top10-Datei aus, die nicht in besagter Tabelle steht.

Ach ich brauch einfach mehr Zeit ... :D

worfroz
28.12.2009, 18:04
Auf Wunsch von M.C.S. wieder geöffnet...

M.C.S.
28.12.2009, 19:38
Ich habe zur Weihnachtszeit das System bei mir mal wieder angeworfen und wollte mal wissen, ob die Scripte noch jemand anders nutzt. Falls ja, würde ich den Stand im Git-Repository mal erneuern. Hier die letzte mir bekannte gepushte Version :
http://github.com/MCS/otr-torrent-mirror
Was mir z.B. unangenehm auffiel:
Nachts werden durchaus mal vollständig gespiegelte Dateien gelöscht, weil irgendwas anderes mehr nachgefragt wird. Am nächsten Tag steigt die Anfrage wieder, doch das Original ist wegen der anderen Torrents schon wieder gelöscht. - Irgendwie suboptimal, nun wieder alles neu herunterzuladen ;)

Andererseits habe ich aber auch keine Lust, das Script nur für mich weiter zu pflegen. Macht noch jemand mit? Wenn nicht, lasse ich den Thread einfach wieder zustauben :D

flom
30.12.2009, 13:06
Ja ich würde gerne mitmachen...
Habe es auch wieder aktiviert.

Haste ne PM...

M.C.S.
30.12.2009, 21:18
Für RSS wäre Zentralisierung nett. Die Torrents muss aber weiterhin jeder selbst herunterladen. Ich glaube nicht, dass dasselbe Torrentfile auf zwei Clients gleichzeitig laufen kann. Das verhindert der OTR-Tracker (zumindest meine ich diesen Effekt beobachtet zu haben - versteckte User-ID im Torrent-File sei Dank). Und ich weiß gar nicht, ob man ohne Premium auch Spezialformate über Torrent laden kann.

Zentralisierung gab es auch schonmal, wurde dann aber wieder abgeschafft. Warum, weiß ich schon nicht mehr, steht aber irgendwo hier im Thread. Vielleicht hatte der Master nur keine Lust / Zeit / Resourcen mehr!?

Dem Multidekoder gegenüber bin ich noch sehr skeptisch eingestellt, insbesondere der Idee, dass Mirrors plötzlich AVIs anstelle von OTRKEYs anbieten können sollen. Ich kann mir noch nicht vorstellen, dass die Mirrors auf den Zug aufspringen werden. Mir wäre das Risiko viel zu hoch, entschlüsselte AVIs an unberechtigte Dritte auszuliefern (z.B. weil z.B. mal das Authentifizierungssystem von OTR einen Bug hat und jedem den Download erlaubt). Aber das ist ja Sache der Mirror-Betreiber. Sollte sich das wider Erwarten durchsetzen, dürfte die Zeit der Torrents wohl wirklich gegessen sein, denn entschlüsselte AVIs dürfen eh nicht geshared werden.

Abwarten und die Entwicklung beobachten heißt wohl die Devise. Ein klein wenig Freizeit werde ich trotzdem ins System investieren :)

Suxxess
30.12.2009, 21:39
Der angegebene Grund war die Rechtsunsicherheit von OTR. Vielleicht auch etwas die Lust, aber die Frage kann nur er alleine beantworten.

Und du hast natürlich Recht, die HQ- und Poolingsendungen kann man ja nicht als Normalnutzer nutzen. Es wäre wirklich eine interessante Frage zu klären ob ein Leecher solche Torrents generieren könnte auch wenn er sie nicht dekodieren darf.

Und natürlich das mögliche Problem beim Tracker der anhand der ID den Traffic zuordnet. Im Notfall kann man natürlich die Userid und den Hash vom Master mitgeben, dann bekommt man schon mal die Datei. Und zum anderen Problem der doppelten Exisitenz eines Torrents mit der selben ID, laut dem anderen Thread etwas tiefer, würde er den zweiten Client bannen.