Problem mit otr.softxl.net

[strex]

Der Speed geht immer weiter in die Knie 17kb/s ist das schnellste was otr.softxl.net gerade bei mir hergibt bei nem anderen Mirror hab ich parallel 120kb/s was um diese Uhrzeit echt gut ist...

Also ich habe dor keinen Abbruch und gerade getest mit einem Speed so um 100kb/s. Es liegt aber wahrscheinlich nicht an der Bandbreite sondern an der zu hohen CPU und oder Speicher Belastung. Weil der Seitenaufbau ist recht langsam.

Aber bis jetzt habe ich da noch keine Probleme gehabt.

grüße strex

[Videoblitz]

Yep, vom Osterwochenende bis gestern herrschte aus unerfindlichen Gründen sowieso Ausnahmezustand - nicht nur auf unserem, sondern bei mehreren Mirrors, wie ich dort an den Längen der Warteschlangen sah (Position 343, warten nach 4 Stunden abgebrochen, bei anderen wieder DL mit nur 12 kbps trotz Warteschlangen-Einsatz) - obwohl einige unserer Optimierungsmaßnahmen schon griffen Wir hatten mit einem Schlag plötzlich bis zum FÜNF-fachen der sonst vorher gezählten Besucher, obwohl wir bei den 2 größten Keysearchern nur ca. 4 Stunden/Tag überhaupt gelistet waren.

Bei den Keyseachern (zb. http://otrkeyfinder.com, http://otrkey.com) de-listen wir uns, wenn unser Mirror voll ist (weniger als 1 freier Slot oder Bandbreite >= 90&#37; ausgelastet), damit keine Besucher ver&#228;rgert sind, wenn sie &#252;ber Keysearch bei uns landen und dann vor geschlossenen T&#252;ren stehen, nachdem es bei uns leider noch keine Warteschlange gibt. Ein neuerliches listing findet erst wieder bei einer Auslastung von <= 80% statt. Allerdings hat uns otrkey dieses Feature ein wenig eingeschr&#228;nkt, da seit 1 Tag automatisiertes listing/de-listing nicht mehr geht. Der otrkey-Spider aktualisiert dies nun nur mehr alle Stunden, was wenig effizient ist, da beim &#220;bergang von de-listung zu listing die Auslastung binnen 60 Sekunden von 0 auf 100% geht und sp&#228;testens dann wieder ein de-listing sinnvoll w&#228;re

Prinzipiell sagen wir uns Besuchern ja schon vor dem DL, mit welcher Speed sie in etwa rechnen k&#246;nnen. Das Problem ist 'lediglich', da&#223; sich die von den Usern in Anspruch genommenen Bandbreiten innerhalb des von uns zu Verf&#252;gung gestellten Rahmens (bis 1 mbps/Slot) oft sprunghaft &#228;ndern (meist nach oben, wenn zB ein anderer DL fertig wurde und so beim User Bandbreite f&#252;r den DL von uns frei wurde).

Da der Durchschnittswert der DLs/User (ohne dabei an Grenzen des Servers zu sto&#223;en) in der letzten Woche bei 240 kbps lag, stellen wir 50 DL-Slots zu Verf&#252;gung. Heute hat sich allerdings wieder gezeigt, da&#223; mit 50 Slots nur 65% der Bandbreite ausgelastet wurde, also die durchschn. DL-Rate nur 156 kbps/Slot war Als ich gerade die Slots auf 55 raufsetzte, waren die gleich belegt mit 98% der Bandbreite. Wir lassen derzeit den Start neuer DLs nur zu, wenn <90% UNSERER Bandbreite ausgenutzt sind (d.h. 1,2 mbps sind auf jeden Fall frei) und noch mind. 1 Slot frei ist. Soweit, so gut. Wenn nun bei nahezu Volllast nur 3 User ihre Anforderung zB von urspr&#252;nglich 100 kbps auf 1.000 kbps erh&#246;hen (Maximum, welches Slot hergibt), dann sinkt die durchschnittliche DL-Rate aller User um derzeit ca. 19 %, weil ja die maximale Bandbreite, die uns Provider zugesteht, nicht &#252;berschritten werden kann.

Sich derart schnell und stark &#228;ndernde User-Anforderungen gegen&#252;ber zu Zeitpunkt des DL-Starts lassen sich leider so gut wie nicht vorhersagen oder vorherberechnen. Manchmal (meist nachts, aber auch tags&#252;ber) &#228;ndert sich kaum was, dann manchmal gigantische Spr&#252;nge binnen einer Minute bei 30% der DLs.

Das Ei des Columbus, den goldenen Mittelweg zwischen Serverauslastung und bestm&#246;glicher Versorgung des einzelnen Users habe wir noch nicht gefunden, aber mit den steigenden Erkenntnissen, die aus den sich rapide vermehrenden statistischen Daten gezogen werden, k&#246;nnen wir in kleinen Schritten optimieren. Gegen&#252;ber dem Status vor 1 Woche konnte die durchschnittl. Serverauslastung von 75% auf 86%, in der Zeit von 02:00-07:00 von 25% auf 60%, gesteigert werden. Das Kunstst&#252;ck, das uns noch gelingen mu&#223; ist, m&#246;glichst nahe an die Servergrenzen zu gehen ohne an diese dauerhaft zu sto&#223;en und dabei bestm&#246;glich den einzelnen User zu bedienen.

Prognosen, basierend auf Statistiken, sind leider aufgrund der dort nicht mehr vertretenbaren, gro&#223;en Varianz/Standardabweichung kaum erstellbar, soda&#223; nur aufgrund kontinuierlicher Messung der aktuellen Parameter ad hoc reagiert werden kann. Lediglich ein einziger Trend l&#228;sst sich vorhersagen: Mo-Do sind die Anfragen zwischen 18 und 22 Uhr am st&#228;rksten ... auch, wenn wir bei den 2 gr&#246;&#223;ten Keysearchern de-listed sind ... soviel Stammpublikum?

Im Anhang noch 2 Grafiken. Eine, wie es nicht sein sollte (von 8-21 Uhr mit wenigen Ausnahmen permanent am Limit, Nacht schlecht genutzt) und die andere, wo tags&#252;ber nur am Limit gekratzt wird (bis 3 Uhr gute Auslastung, von 17-23 Uhr das Limit fast dauerhaft erreicht).

[strex]

Gut das sich das gebessert hat. Ja über Ostern war ein kräftiger Ansturm zu verzeichen. Mal wieder Ferien gewesen

Also das script veröffentliche ich wenn´s fertig ist, da ich aber immer noch kein FTP-Zugang habe, kann ich das automatische abholen der Dateien noch nicht vervollständigen.
Sobald das geschieht und alles bei besten ist, werdet ihr das bekommen

Ich hab mal die aktuelle Statistik eines unserer Download-Server angehäng.

Grüße strex

[Videoblitz]

mich frisst der pure neid

welcher server ist, was kostet der im betrieb, und wieviele DLs liefen da um 01:00 bei den 70 mbps traffic?

[strex]

Also Server stehen bei dedibox.fr und ovh.de. Beide sind aber nicht die schnellsten bei Telekom-Kunden.

Server kosten zwischen 25 und 50€.

Hmm wieviel Downloads, also meine stat sagt 52.


Grüße strex

[Videoblitz]

strex, noch mehr neid

flat-server mit 100 mbps-port (70 mbps tatsächliche spitze) mit 25-50 EUR ?
webspace muß ja auch ausreichend sein, sonst würde mirror wohl keinen sinn machen. wieviel?

wo kann ich 20 solche server bestellen? sind das eigene kisten oder nur miethardware? wenn miet, dann vserver oder dezidierte?

ich siedle sofort unsere kundenseiten um ... mich kostet hier in wien via eurorings 1 mbps flat 280,-/monat, genauso viel, wie 1 gbps national am VIX !!! 86% des traffics von 2,5-3 TB geht nach D ... mich kostet der mirror somit ca. 1800,-/monat allein an traffic und dabei habe ich nicht mal 15 mbps gesamt von housing-provider

[paddya]

Meiner Meinung nach funktioniert das Bestimmen der Bandbreite des Users nicht richtig. Zum Beispiel wird mir angezeigt, dass ich maximal mit 19 kB/s downloaden kann - bei DSL 3000! Evtl solltest du daran noch ein bisschen arbeiten

Greetz

paddya

[foertel]

Hey Videoblitz,

respekt f&#252;r deinen Server :-) Ansturm wohl, weil alle Leute (wie ich auch) allen leuten bescheid sagen, dass der Serber 1a ist :-)

Nun ist es wirklich schade, dass st&#228;ndig die Seite &#252;berlastet ist. Aber k&#246;nntest du es nicht einbauen, dass die Links trotzdem ausw&#228;hlbar bleiben?
Dann kann man die in die Warteschlange packen und alle minute einmal nachfragen, ob nun ein downloadslot frei ist :-)

MfG, foertel

[Videoblitz]

Ich mu&#223; jetzt auch einmal etwas aufzeigen, was uns &#252;berhaupt nicht in den Kram passt:

Unser Download-Management ist zur Zeit noch recht einfach und leicht knackbar, aber grunds&#228;tzlich inzwischen sehr effizient gestaltet, soda&#223; jeder User maximale Download-Speed bekommt, sobald er &#252;ber Website Download starten kann. Im Normalfall kommt der Server NIE an sein physisches Limit (13 mbps), auch wenn manchmal das Soft-Limit von 12 mbps geringf&#252;gig &#252;berschritten wird.

Nu gibt es gibt aber leider einige (wenige), die dieses Download-Management umgehen, indem sie Site den ganzen Tag &#252;ber spidern und aus ihrem Spider-Cache dann fullspeed-Download starten, wann es ihnen passt und nicht dann, wenn noch Kapazit&#228;ten frei sind. Da dadurch ALLE anderen im Download eingeschr&#228;nkt werden, wenn Server an das eingestellte Gesamt-Limit von 13 mbps gefahren wird, werden derartige User manuell gekickt und gesperrt, sobald ich so etwas entdecke. Sorry, kein Pardon bei derart kontraproduktiven Aktionen!



Wir wissen, da&#223; sich derartiges durch besser abgesichertes DL-Management - wie es auch andere Mirrrors machen - vorweg verhindern lie&#223;e. Es wird auch bei uns demn&#228;chst kommen. Derzeit liegt unsere Priorit&#228;t beim sammeln und auswerten der Daten, um die schon sehr ausgereifte DL-Steuerung noch weiter zu optimieren. So wird u.a. auch eine 'kleine' DL-Warteschlange kommen, die die Auslastungsl&#252;cken, die durch die unumg&#228;nglichen Delays bei listing/de-listing bei http://otrkeyfinder.com und http://otrkey.com entstehen, f&#252;llen sollen.

Auch ist geplant, f&#252;r registrierte User mit zeitsteuerungsf&#228;higem DL-Manager (FDM, Flashget), eine gr&#246;&#223;ere Warteschlange und einen 'scheduled' Download anzubieten, der in den wenig ausgelasteten Nacht-Zeiten automatisch startet und die ben&#246;tigten Bandbreiten daf&#252;r auch vor-reserviert (first in, first served).

[forestfriend]

Alle User haben die Bandbreite (bis. max 2 mbps) erhalten, die sie selbst zur Verfügung hatten. Leider nutzten dies nur 6%, die anderen dümpelten mit matten max. 30 kBps dahin. Dabei jammern hier fast alle, daß ihnen so wenig Speed angeboten wird und wenn sie die aber erhalten, nutzen sie sie nicht Ist ja echt schade, wenn durchschnittlich nur 20-25% der angebotenen Bandbreite der 1 mbps-Slots in Anspruch genommen wird und unnötig Server-Resourcen frei bleiben und brachliegen.

Also soll ich das so verstehen: Wenn ich einen Download bei otr.softxl.net starte und der Dl bei 25 kB/sec dahindümpelt, ich zur Kontrolle mal nen zweiten DL anschiebe, der sofort alles an Bandbreite aus meiner 2000er DSL-Leitung lutscht, dann liegt das an mir?