Im Namen des Königs, respektive Kaisers, übten zuerst die Herzöge von Schwaben die Schirmhoheit über das Gebiet von Horgen aus. Für sie verwalteten die Grafen von Lenzburg bis im Jahre 1173 das Amt als Reichsvögte. Das Gebiet von Horgen fiel im Jahre 1173 bis zum Jahre 1218 den Herzögen von Zähringen zu. Nach dem Tode des letzten Zähringers 1218 verteilte der junge König – nachmals Kaiser Friederich II – die Besitzungen neu. Die Vogtei über den Reichsboden Horgen kam an die Freiherren von der Schnabelburg, also an das Haus Eschenbach. Nach der Ermordung König Albrechts und der Flucht Walter von Eschenbach kam im Jahre 1310 die Vogtei Horgen an die Herzöge von Österreich, welche diese an Johannes von Hallwil verpfändete. Im Jahre 1406 verkauften die Herren von Hallwil die Vogtei Horgen an die Stadt Zürich.