Mirror-Index über Pings anstatt Polling

[otrhq.de]

Komplizierter Titel? Ist auch wenig Platz...

Hier meine Idee:
Wenn man neue Files auf dem Mirror hat, muss man immer ein bisschen warten (im Extremfall eine Stunde) bis der Crawler wieder vorbeikommt und die Dateiliste abruft.

Wäre es nicht sinnvoller, das Ganze über Pings (ähnlich wie bei Blogs) zu realisieren? Also ein Mirror meldet sich bei der Suchmaschine, wenn er neue Files hat. Dadurch würde nicht unnötig abgefragt, wenn sich nix geändert hat und die Aktualität würde sich erhöhen.

Vielleicht sind nicht alle Mirrorbetreiber so bewandert, dass sie so etwas einbauen könnten, deswegen mein Vorschlag das als Alternative anzubieten.

Was haltet ihr davon?

[FoXyLiOn]

Tolle Idee, muss allerdings dann auch von einem der Such-Anbieter umgesetzt werden.
Wobei es mich persönlich bei 30-60Minuten Unterschied nicht sonderlich stört ;)

[Xeranon]

Hmm ich denke am einfachsten wäre es, wenn die Mirrorbetreiber für jeden Mirror eine URL mit einem Hash-Wert bekämen, unter welcher sie sozusagen den Ping aufrufen. Denke auch das dies programmiertechnisch nicht all zu schwer sein dürfte *g*
Sprich: Idee klingt gut & umsetzbar :)

[sandramain]

otrkey.com ist da ja bei umsetzung von vorshlägen ziemlich lahm. aber vielleicht kann man sich an otrkeyfinder.com wenden?

[otrhq.de]

Alles klar, hab ihm gerade eine E-Mail geschrieben. Mal gucken, was er dazu sagt.

[MKay]

@Xeranon: Mit dem Hash wäre es doch wie vorher :) Nur, dass halt vorher geprüft wird, ob der Mirror neue Files hat.

Ansonsten klingt das ganze schon interessant. Doch müssste otrkeyfinder.com sein ganzes System umstellen. Es würde also nur Sinn machen, wenn wirklich viele Mirror, wenn nicht sogar alle ( :) ) mitziehen.
Die nächsten beiden Wochen habe ich jedoch noch Klausur-Zeit. Danach, oder wenn sich dazwischen Zeit findet, könnte man das mal besprechen.
^^Ihr findet mich des öfteren im OTR-IRC-Channel ;)

[otrhq.de]

Achso, alles klar. Also doch wie gedacht.
Hab jetzt 35 Minuten gewartet, bisher kein Hit.
Letzter Besuch war um 22:20:17, davor um 21:31:40.

[FoXyLiOn]

Ich vermute einfach mal, dass das Script maximal eine Verbindung zu einem Mirror aufbaut, oder? Sinnvoll wären sicher 4,5 oder noch mehr Tasks die alle gleichzeitig die Mirrors abgrasen, an der Bandbreite wirds da denke ich bei 100Mbit/s nicht mangeln, es werden vermutlich die Mirrors sein, die überlastet sind und durch den im Moment des txt-Abrufes sehr langsamen Upload ewig brauchen, bis sie fertig sind, und dadurch alles verzögert wird...

[Xeranon]

Man könnt einfach eine Sperre reinmachen: Man darf seine Liste nur alle 10 Minute submitten (oder so)...? ;)

[FoXyLiOn]

Man könnt einfach eine Sperre reinmachen: Man darf seine Liste nur alle 10 Minute submitten (oder so)...? ;)
hat swohl otrhq.de als auch MKay schon angemerkt ;)

[otrhq.de]

@MKay: Hab heute nochmal beobachtet, der Abruf erfolgt jetzt ca. alle 40 Minuten. http://ak.imgfarm.com/images/fwp/smileytoday/small_thumbs_up.gif

[Xeranon]

hat swohl otrhq.de als auch MKay schon angemerkt ;)

*grins* Okay,muss ich irgendwie überlesen haben*g*

[MKay]

@otrhq.de: Wie lange hats vorher gedauert? :)

[MKay]

Also, es gibt eine Möglichkeit, die ohne große Umbauarbeiten funktioniert. Diese habe ich schon umgesetzt und funktioniert wunderbar (mit dem MV getestet).

Und zwar meldet ihr neue files einfach selbst bei mir. Also wenn euer Auto-Script oder sonst was ein neues Otrkey bei euch zum Download freigibt, dann schickt ihr den otrkey-Namen einfach an otrkeyfinder, welcher das dann abspeichert.
Natürlich müsst ihr euch dann auch um das Löschen der Datensätze kümmern!

Am Anfang würde ich das am liebsten nur mit wenigen Mirrorn probieren, um zu gucken ob alles stabil läuft.
Theoretisch müsste aber alles besser funktionieren als sonst, denn zum einen wird der Traffic verringert und zum anderen findet Otrkeyfinder.com die otrkeys gleich, nachdem ihr sie bei euch freigebt.

Das Skript besitzt einige Sicherheitsmaßnahmen. Hinzukommen wird noch eine Begrenzung für die Anzahl der otrkeys, wir wollen ja nicht, dass ihr mir meine Datenbank zerbombt. Das ganze basiert also auch auf ein bissel Vertrauen.

Mein Skript liefert euch eine relativ detaillierte Ausgabe, damit ihr die Ergebnisse auswerten könnt.

1-2 Leute können sich ja mal hier im Thread melden (mehr bitte erstmal nicht), nicht per PM. So kann man sehen, wie viele sich schon gemeldet haben :P
Ich gebe euch dann alle nötigen Infos per PM.

Gruss
MKay

[strex]

@MKay ich würde mich freiwillig melden zum Test. Da unser System Prozess orientiert ist und das absenden des Files nur 5min Änderungen benötigt.

Um was ich mich noch freuen könnte, wenn es eine schnittstelle gibt, bei der man abfragen kann ob eine Datei schon auf anderen Mirros verfügbar ist. So brauchen wir nicht Files downloaden, die eh wenig Traffic erzeugen und schon auf einigen Mirrors vorhanden sind. So sparen wir uns eine Menge Traffic von und in Richtung OTR.

Grüße strex

[MKay]

@strex: Hast ne PM. Dein Mirror habe ich jetzt aus dem Suchvorgang ausgeschlossen^^