[Chr!s]

Tag,
nun ich bin an einem Punkt, andem mein Projekt langsam an programmiertechnischer Größe gewinnt. Hierbei bin ich nun auf ein Problem gestoßen, welches von recht großer Bedeutung ist: die Performance. Dabei geht es um meine Template-Klasse und um die Sprachvariablen.

Kurze Erklärung:
Ich speichere meine Sprachvariablen (auch ganze Phrasen) in der Datenbank. Ich habe mich für die Datenbank entschieden, da ich diese Lösung dynamischer und für den Admin der Software leichter zu verwalten finde. Ich hab das so gelöst, dass ich die TemplateEngine (Methode: replaceLanguageVariables()) die Sprachvariablen per regex raussucht (gekennzeichnet mit {§sprachVariable§}), und die nötigen Felder dann aus der Datenbank holt.

Das hat am Anfang auch perfekt und schnell geklappt, hatte hier ja schonmal eine Frage dazu gestellt. Nun habe ich aber festgestellt, dass der Aufbau meiner Seiten ca. 0.1 Sekunden braucht - ist zwar immer noch schnell, für mich aber noch nicht schnell genug. Vorallem wenn das System noch wächst, und noch mehr hinzukommt. Doch dann habe ich angefanen, Templates zu verschachteln (z.b. HTML Kopf und Fuß), und auch einige Grundrahmen innerhalb der Tempaltes zu includen, damit nicht so viel an den Templates zu verändern ist, sondern einfach nur der neue COntent generiert werden muss - das ist ja auch der Sinn von Tempaltes. Doch bei jedem neu includierten Template müssen ja auch die dortigen Sprachvariablen gesucht und ersetzt werden - und so häufen sich die Querys leider nach und nach.

Dann gibt es noch das Problem, dass ich beispielsweise mal eine einzelne Sprachvariable brauch (Methode getLanguageVariable()), was dann natürlich wieder einen einzelnen Query erfordert, sodass ich zurzeit auf maximal 15 Querys / Seite komme, bei einer Laufzeit von ~0.1 - 0.13 Sekunden. Das sieht wie folgt aus:

// SessionDaten auslesen
SELECT sessionData FROM xpc1_sessions WHERE sessionID = 'd356ca7d1853009a9b51609d2da598a7' AND expireDate >= '1156623419'

// Aufgrund von session_regenerate_id() wird die alte SessionID gelöscht
DELETE FROM xpc1_sessions WHERE sessionID = 'd356ca7d1853009a9b51609d2da598a7'

// Hier werden die MainSettings geladen
SELECT c.styleID, c.chattitle, c.gzCompression, s.name, s.path, s.templatepath, s.imagepath, s.cachepath, s.csspath, s.jspath, s.fileextension, l.langname, l.langidentifier FROM xpc1_config AS c INNER JOIN xpc1_styles AS s ON s.id = c.styleID INNER JOIN xpc1_languages AS l ON l.id = c.languageID

// Auslesen der UserDaten des eingeloggten Users 
SELECT id, username, usergroup, status FROM xpc1_users WHERE id = '1'

// Query für den StatusSelector (online, abwesend, unsichtbar etc..)
SELECT id, statusIdentifier FROM xpc1_status

// Dieser Query ist für die Anzeige "Wer ist Online"
SELECT u.id AS userID, u.username, c.id AS roomID, c.roomname FROM xpc1_users AS u LEFT JOIN xpc1_chatrooms AS c ON u.chatroom = c.id WHERE u.chatroom != '0' AND u.isOnline = '1'

// Ab hier - Languagevariablen..
// Raumübersicht
SELECT phraseContent, identifier FROM xpc1_language_de WHERE identifier IN ('roomOnline')

// Raumübersicht -> keine User online
SELECT phraseContent, identifier FROM xpc1_language_de WHERE identifier IN ('noUserOnline')

// Einzelne Variablen für die Breadcumb-Navigation
SELECT phraseContent FROM xpc1_language_de WHERE identifier = 'userControlCenter'
SELECT phraseContent FROM xpc1_language_de WHERE identifier = 'manageFriendlist'
SELECT phraseContent FROM xpc1_language_de WHERE identifier = 'deleteUser'

// Verschachtelte Templates
SELECT phraseContent, identifier FROM xpc1_language_de WHERE identifier IN ('usercontrolcenterWelcometext')
SELECT phraseContent, identifier FROM xpc1_language_de WHERE identifier IN ('youAreHere','yourStatus','friendsOnlineNum','xNewPMs','oneNewPM','noNewPMs')
SELECT phraseContent, identifier FROM xpc1_language_de WHERE identifier IN ('manageFriendlistWelcome','addUser','addUser')
SELECT phraseContent, identifier FROM xpc1_language_de WHERE identifier IN ('online','busy','rightback','away','longeraway','invisible')

Indexes sind natürlich gesetzt.

Vielleicht hat von euch einer eine Idee, wie ich das System optimieren kann, sodass ich vllt weniger Querys brauche? Leider habe ich da keine passende Idee dazu gehabt, somit poste ich die Frage einfach mal hier.

Hoffe auf gute Ideen

[dsxs]

Hmm, was ich auf die Schnelle gerade sehe: die Userdaten könntest du nach erfolgreichem Login doch direkt in die Session legen. Bei deinem Sessionhandler passiert ohnehin bereits eine Querie vor und eine nach der Ausführung des Scripts ("unsichtbar"). Das ginge also gleich in einem Zug.

Wobei diese eine Querie natürlich noch keinen grossen Unterschied machen wird.
Das Problem liegt klar bei deinen Sprach-Abfragen. Wie wäre es, wenn du Spracheinträge geschickt gruppierst und die ganze Gruppe mit einer einzigen Query ausliest? (serialize(), unserialze())

Zb sämtliche Sprach"dateien" für Menüelemente wie Kopieren, Löschen, Editieren, Verschieben, Erstellen uswusw... All diese Elemente könntest du serialisieren und im Feld "usrControls" speichern... Auslesen, unserialize und du hast ein praktisches assoziatives Array mit den Daten.
Das ganze setzt natürlich ein geschicktes System voraus, die Elemente müssten logisch gruppiert werden.

[Chr!s]

Hmm, was ich auf die Schnelle gerade sehe: die Userdaten könntest du nach erfolgreichem Login doch direkt in die Session legen.

Das wird auch gemacht, jedoch werden die bei jedem Reload evtl aktualisiert, und müssen somit neugeladen werden (da kommen noch mehr Daten dazu).

Das Problem liegt klar bei deinen Sprach-Abfragen. Wie wäre es, wenn du Spracheinträge geschickt gruppierst und die ganze Gruppe mit einer einzigen Query ausliest?

Das hört sich eigentlich ganz gut an. Ich könnte eine dritte Spalte hinzufügen, und diese dann logisch Gruppieren.

Einziges Problem dabei:
Standard-Wörter wie "fortfahren" "username", "Passwort" oder "Okay" (nur Beispiele, vielleicht nicht gerate die besten) müssen dennoch geladen werden. Aber ich werde mir mal Gedanken über deinen Vorschlag machen.

Falls noch andere Ideen existieren - nur her damit

//edit Ohje, derzeit ist es sogar schneller alle Sprachvariablen zu lesen und in den kleinen internen Cache (einfach ein Array) meinem View zu packen. (Es wird immer geprüft, ob die Variable nicht schomal geholt wurde, wenn doch wird auf diesen "Cache" zugegriffen). Das ändert sich aber denke ich, wenn noch mehr Sprachvariablen dazukommen (und da kommen noch einige)..

[robo47]

eine eventuell etwas umständlicher weg wäre der templateklasse beizubringen, die übersetzungen erst wenn das letzte template erkannt ist aus der datenbank zu holen, damit beugst du auch dem vor, dass du eventuell felder doppelt abholst und sobald du mit einem query alle relevanten daten abgeholt hast, dann erst werden die templates geparst, das kombiniert mit nem templates-cache vieleicht ?

mfg
robo47

[dsxs]

Einziges Problem dabei:
Standard-Wörter wie "fortfahren" "username", "Passwort" oder "Okay" (nur Beispiele, vielleicht nicht gerate die besten) müssen dennoch geladen werden. Aber ich werde mir mal Gedanken über deinen Vorschlag machen.

Das musst du mir erklären.. diese Standard-Wörter kannst du auf ebensolchem Weg gruppieren und als "Packet" auslesen.

Ansonsten klingt robo's Vorschlag sehr gut, bleibt die Schwierigkeit, ein funktionelles caching für die Templates hinzukriegen. Davon hab' ich sehr wenig Ahnung, es schien mir jedoch verdammt knifflig bei meinen wenigen rein interessehalber angestekkten Testläufen.

[Chr!s]

Zitat von robo47

eine eventuell etwas umständlicher weg wäre der templateklasse beizubringen, die übersetzungen erst wenn das letzte template erkannt ist aus der datenbank zu holen, damit beugst du auch dem vor, dass du eventuell felder doppelt abholst und sobald du mit einem query alle relevanten daten abgeholt hast, dann erst werden die templates geparst, das kombiniert mit nem templates-cache vieleicht ?

mfg
robo47

Hm, darüber hatee ich mir auch schnoeinmal Gedanken gemacht, eine sog. "Warteschleife" für die Sprachvariablen zu erstellen, indem ich erst alle Templates hole, sie im internen "cache" (also einfach in einem internen Array) speichere und dann die Variablen einfach ersetzen lasse.

Das müsste ich mal ausprobieren, mein erster Gedanke wäre jetzt jedoch, dass mir dann entweder mein internes Array zu groß wird oder dass das dann an meiner verschachtelung der Templates hängenbleibt - ich werde es aber mal probieren.

Zitat von dsxs

Das musst du mir erklären.. diese Standard-Wörter kannst du auf ebensolchem Weg gruppieren und als "Packet" auslesen.

Hm, auch wieder wahr, so hatte ich jetzt gar nicht gedacht. Das wäre auch eine Möglichkeit, ich muss dann mal testen, welche von beiden plausibler ist.

naja, ein plausibler weg, um "ripple loading" zu verhindern und trotzdem "lazy loading" zu implementieren:
* du speicherst auf jeden fall alle 'einmal geladenen' language-keys in einem array. den selben key zweimal aus der datenbank zu holen, wäre ja nicht sinnvoll.
* wenn du einen language-key nicht im 'cache' finden kannst, lädst du nicht nur den wert, sondern die ganze gruppe, die diesen wert enthält, denn du wirst wahrscheinlich bald auch einen anderen wert aus dieser gruppe benötigen.

d.h. deine statements werden:

SELECT * FROM lang WHERE packet IN (
   SELECT lang_b.packet FROM lang lang_b WHERE lang_b.lang_key IN (a, b)  
)

... kannst bei bedarf auch per JOIN machen, der subselect sieht aber schöner aus.

... du musst dann halt ganz genau schauen, dass du keine werte doppelt holst (doppelte gruppen-zugehörigkeit), und wann es passieren kann, dass du doch die komplette tabelle gezogen hast.

[WarrenFaith]

Robos idee ist definitiv wert, getestet zu werden.
Ähnlich wäre es einfach, gewisse Phrasen zu Gruppieren und dann mit einem Query diese Gruppe auszulesen.
Du müsstest also nur ne Gruppentabelle erstellen und jeder "Seite" eine Gruppe zuweisen. Und dann halt Gruppenweise auslesen und speichern.

[Chr!s]

Zitat von axo

* du speicherst auf jeden fall alle 'einmal geladenen' language-keys in einem array. den selben key zweimal aus der datenbank zu holen, wäre ja nicht sinnvoll.

Das wird schon gemacht. Die Idee mit den Gruppen ist generell nicht schlecht. Werde ich mal probieren, genauso wie robos Idee, danke schonmal.

[dsxs]

Lol entweder ralle ich die Posts der anderen nicht ganz oder jeder hier schlägt ein wenig dasselbe vor, ein wenig anders formuliert - wir drehen uns im Kreis...

[Chr!s]

Zitat von dsxs

Lol entweder ralle ich die Posts der anderen nicht ganz oder jeder hier schlägt ein wenig dasselbe vor, ein wenig anders formuliert - wir drehen uns im Kreis...

Genau so ist es
2 konkrete Vorschläge habe ich jetzt bekommen, die ich auch austesten werde:
* Templates kurz intern cachen und Sprachvariablen erst am Ende ersetzen
* Sprachvariablen logisch gruppieren und auch gruppiert auslesen

[dsxs]

3. Die Möglichkeit der Kombination beider Varianten

[WarrenFaith]

Mein Post ist dem von axo recht ähnlich. ich sollte demnächst gründlicher querlesen, das stimmt.

[Chr!s]

Robos Idee war die einleuchtende für mich, so hab ich mich von 16 Querys auf 7 Querys runterschrauben können, das is denk ich doch eine ganz schöne Leistung.

Das Gruppieren von Sprachvariablen fällt mir derzeit noch etwas schwer (die logische Eintelung, das müsste ich noch etwas ausbauen), aber da ich derzeit eh nur einen Query für alle Sprachvariablen benötige, ist eine gruppierung für diesen Zweck eher unnötig. Danke