Webseite auslesen (fopen)

[sinfo]

Hallo. Ich möchte eine Webseite auslesen. Beispiele:
1) http://www.spiegel.de
2) http://www.brigitt-diaet-coach.de
3) http://www.rudersport.de/robots.txt
4) http://www.gehirn-sport.de

Nun habe ich folgendes Problem: Wenn die Webseite nicht erreichbar ist (Beispiel 2 und 3) bricht mein Skript ab.

Meine Fragen:
(A) Wie kann ich zuerst prüfen ob eine Webseite vorhanden ist (Beispiel 3)
(B) Wo liegt das Problem bei Beispiel 2? Wahrscheinlich an den merkwürdigen Weiterleitungen oder an SSL ... Aber bei anderen Weiterleitungen funktioniert es (Beispiel 4)

PHP-Code:

    $fp = fopen("$robotsUrl","r");
    while (!feof($fp))
        {
        $linie = fgets($fp, 1024);
        while (!feof($fp))
            {
            $linie = fgets($fp, 1024);        
            $linie = strtolower($linie);
            $robotsTxt .= $linie;        
            }
        }
    fclose($fp); 


Danke für Eure Hilfe!

[rarios]

Problem/Frage A:

Verweis auf das SELFPHP Kochbuch "
Server oder Webseite auf Online/Offline testen" http://www.selfphp.de/kochbuch/kochbuch.php?code=65