[Tryzero]

Hallo,

ich hab ein kleines Problem. Ich möchte mit meiner Funktion den Inhalt aller Dateien aus einem Ordner durchsuchen. Nur beiinhaltet dieser Ordner wiederum ca. 10 000 Ordner, in denen die Dateien sind, gehen wir also von insgesamt 100 000 Dateien aus, ich durchsuche den Inhalt dieser Dateien nach einem String und möchte diesen Dateinamen ausgeben (inkl. Pfad).

Mein Problem bei der Sache, dass der Cache nach kurzer Zeit überlagert ist (kein Wunder, bei so einer Menge an Daten) und das Script abbricht.

Ist es möglich, wenn ja wie, das zu umgehen, bzw. den Cache immer wieder zu leeren, sodass der Arbeitsspeicher nicht voll ausgelastet wird und das Script abbricht?

Meinen Code seht ihr hier.

PHP-Code:

<?php

function lese_verzeichnisse($v_name, $funk_name, $max_tiefe = 10, $tiefe =0) {

    if ($tiefe >= $max_tiefe) {
            error_log("Maximale Tiefe $max_tiefe von $v_name.");
        return false;
    }
    $sub_vers = array();
    $files = array();
    if (is_dir($v_name) && is_readable($v_name)) {
        $verzeichnis = dir($v_name);
        while (false !== ($datei = $verzeichnis->read())) {
            if (('.' == $datei) || ('..' == $datei) || ('select_all.php' == $datei)) {
                continue;
            }
            if (is_dir("$v_name/$datei")) {
                array_push($sub_vers,"$v_name/$datei");
            } else {
                $funk_name("$v_name/$datei");
            }
        }
        $verzeichnis->close();
        foreach ($sub_vers as $sub_ver) {
            lese_verzeichnisse($sub_ver,$funk_name,$max_tiefe,$tiefe+1);
        }
    }
}

function printatime($p_datei) {
        $muster = "/\bSTRING\b/i";
        $filename = ''.$p_datei.'';
        if (file_exists($filename)) {
        $content = file($filename);
            foreach ($content as $line) {
                if(preg_match($muster, $line)){
                print '<b>' . $filename . '</b>';
                }
            }
        }
}

lese_verzeichnisse('.','printatime');

?>

Danke euch.^^

MFG

[Ben]

Die Frage ist doch eigentlich, wieso du das machen willst und ob es nicht eine günstigere Alternative gibt, oder?

[Tryzero]

Hehe,

naja warum.^^ Ich habe ein System (schon etwas älter) und damals alles etwas statisch aufgebaut, wenn ein User sich registriert hat, wurde in seine Datei ein Code geschrieben mit einer Variablen ID, meist sein Benutzername, nun muss der Code aber raus und derzeit gibt es 4000 Benutzer, jeder hat da wieder rum seine Dateien und Ordner drinnen, und ich kann es nicht schaffen, dass die User von selbst diesen Code entfernen. Ich habe ein Script geschrieben was in der Maindatei einen Code ohne Variable ID ersetzt (kein Thema) nur sind die anderen Codes in JEDER Datei eingebunden werden.^^ Nun muss ich herausfinden, welcher User noch in welcher Datei einen Code hat, und ich schätze das es noch ca. 600 sind. (Filtern geht nicht, da es nichts zum filtern gibt)

mfg^^

[$traight-$hoota]

also eigentlich wird ja jedes durchsuchte verzeichnis geschlossen, bevor die unterverzeichnisse durchsucht werden ($verzeichnis->close()). die frage ist nur, warum die daten trotzdem noch den speicher blockieren...

[Basti]

clearstatcache()

Basti

[JumperII]

Ich denke mir, dass die maximale Ausführungszeit für PHP-Scripte letztendlich das Ganze beschränken wird. Bei einen Testlauf bei meinen Verzeichnissen bekam ich nach 60 Sekunden den abbruch nach rund 4000 Dateien ....

Davon abgesehen würde ich die Funktion printatime weiter optimieren:

PHP-Code:

function printatime( $p_datei) {
  $muster = "/\bSTRING\b/i";
  $filename = ''.$p_datei.'';
  if (file_exists($filename)) {
    $fh = fopen( $filename, "r");
    while( ! feof( $fh)) {
      $line = fgets( $fh);
      if( preg_match( $muster, $line)) {
        print '<b>'.$filename.'</b><br>'."\n";
        break;
      }
    }
    fclose( $fh);
  }
} 


Gruß,
Jumper, the II.

[Tryzero]

Danke euch, werde ich mal testen und ich sage euch bescheid, was es fürn Ergebnis gab.

Thx

mfg

[$traight-$hoota]

Zitat von Basti

clearstatcache()

Das löscht aber nur den status cache (also in diesem fall eigentlich nur die werte für file_exists, is_readable und is_dir). und ich kann mir nicht vorstellen, dass allein diese daten den speicher vollpumpen...

[JumperII]

So, ich habe mal mit einem utopischen Zeit-Limit von 600 Sekunden getestet .... Ich weiß ja nicht, was für Dateien Du letztendlich hast, aber bei mir waren nach 27000 Dateien und 4650 Verzeichnissen Schluss mit Timeout.

Gruß,
Jumper, the II.

[Tryzero]

So,

hatte das Timeout auf 300 Sekunden hochgeschraubt und er hat 3/5 geschafft. Werds nochmal hochschrauben und dann glaub ich sollts funktionieren.

Bisher geht alles, nichts mehr mit Cache...

mfg

[KingCrunch]

Da is aber sicher Refactoring angesagt ^^ Alles schön einlesen und ab in eine DB und gut ist

[Tryzero]

Hallo,

ich habe das jetzt ausgiebig geteste, es gibt auch noch eine andere möglichkeit, wenn man SSH Zugriff hat mit dem Befehl:

grep --directories=recurse suchtext * >speicherdatei.txt

damit durchsucht er wenn man das in dem jeweiligen pfad eingibt alle daten und schreibt die funde in die datei speicherdatei.txt.

MFG
Try

[Basti]

...jo, manchmal sieht man vor lauter Bäumen den Wald nicht, was?

Basti