Der «Stammsitz» der Familie Alther ist das Haus <Zum Burggraben> in St.Gallen. Es wurde 1904 erbaut vom St.Galler Jugendstil-Architekten Gustav Adolf Müller. 1913 konnte es von Robert Mario Alther, mit Hilfe seines Vaters Cäsar Ernst Adolf Maria Alther, erworben werden (Dokumentation Hauskauf) und befindet sich seither im Eigentum der Familie.
Im Keller-, Erd- und ersten Obergeschoss der Liegenschaft befindet sich ebenfalls seit 1913 die Stern-Apotheke, welche bis 2020 von drei Generationen Alther betrieben wurde.
Das Haus wurde zum Teil auf den Fundamenten des älteren Nachbarhauses <Alte Bank> errichtet und teilweise auch in dieses hineingebaut. Ca. fünf Meter der ursprünglichen Grundmauer der <Alten Bank> wurden im Keller 2019 wieder sichtbar gemacht.
Das restliche Fundament bis auf Strassenniveau wurde mit behauenen Natursteinen aufgeführt. Es ist davon auszugehen, dass es sich dabei ebenfalls um Material aus dem Abbruch der ehemaligen Stadtmauer handelt.