Domherr Graf von Herberstein errichtete das Gebäude nach Mitte des 16. Jahrhunderts im Renaissancestil. Nach dem Stadtbrand von 1662 wurde das Haus umgebaut. Auf diese Erneuerung gehen die bestehende Fassadengestalt und die Stuckdecken im Inneren zurück. Das Palais diente längerer Zeit als Bürgermeisterwohnung, war im 19. Jahrhundert im Privatbesitz und ist nun seit langer Zeit Sitz des Amtsgerichts Passau.

Die drei Gebäudeflügel umschließen einen italienischen anmutenden Innenhof, der sich zur Gartenseite über dem Inn öffnet. Der Bau ist hier in drei Geschossen mit Lauben geöffnet. Das Erdgeschoss hat drei Rundbogenarkaden, die auf Rustikapfeilern ruhen.

In den Obergeschossen sind es je sechs Arkaden, die auf toskanischen Säulen ruhen. Im östlichen Rückflügel liegt ein reizvoll bemalter Gartensaal. Die Malereien stammen aus der Frührokokozeit um 1720 – 1730.

Im Dezember 1905 zog das Amtsgericht Passau aus der ehemaligen bischöflichen Residenz in das für die Justiz umgebaute Herbertstein Palais. Nach dem 2. Weltkrieg nahm die Zahl der Gerichtseingessenen stark zu, so dass der Arbeitsanfall beachtlich anstieg. Zur Behebung der Raumnot wurden in den 50er Jahren die Seitentrakte des Amtsgerichts aufgestockt; an den Ostflügel wurde ein ebenerdiger Anbau angefügt.

Im Erdgeschoss des östlichen Rückflügels liegt der reizvoll bemalte Gartensaal (salla terena).

Die Malereien stammen aus der Frührokokozeit, um 1720 - 1730.

Der kleine Saal ist ein rechteckiger Raum zu drei Kreuzjochen, mit zwei Türen an der östlichen Stirnwand, drei an der südlichen zum Garten. Die Mitte der Nordwand nimmt ein Marmorkamin ein, darüber ist ein stuckierter Aufsatz aus der Zeit der Bemalung zu sehen. Zwei Türen an der Westseite haben barocke Holzverkleidungen aus der Zeit um 1670. Das Gewölbe ist mit zwei größeren Gemälden in gemalten Umrahmungen geschmückt. Das eine stellt den "Sturz des Ikaros", das andere vermutlich "Zeus und Semele" dar. Am Halbjoch östlich ruht eine Frau, mit Speer und Pfeilen bewaffnet, an einem Brunnen; am Halbjoch westlich sieht man "Diana mit zwei Hunden". Die vier Szenen symbolisieren wohl die vier Elemente.

Die Schildwände seitlich vom Kamin sind mit bemalten Säulenarkaden geschmückt, durch die man in Landschaften blickt. An der Südseite sind neu gemalte Pilaster an den Fensterpfeilern. Am östlichen Fensterpfeiler sind Puttengruppen an einer Balustrade, an der Westwand bacchische Putten mit einem Geisbock in Architekturumrahmung zu sehen.

In den zwei Stadtbränden von 1662 und 1680 kam die gotische Stadt Passau in den Flammen um und in den folgenden Jahrzehnten entstand eine barocke Stadt. Die Bautätigkeit, die mit dem Dom so mächtig eingesetzt hatte, riss auch später nie mehr ganz ab. Fürstbischof Kardinal Johann Philipp Graf von Lamberg (1689 – 1712) begann, als der Dom kaum vollendet war, den Neubau der bischöflichen Residenz. Da er als kaiserlicher „Prinzipalkommissar“ auf dem Regensburger Reichstag über einen personalstarken Hofstaat verfügen musste, ließ er zur Unterbringung von Roß und Wagen einen neuen Marstall in der Theresienstraße (im 19. Jh. bereits „Frohnveste“, heute Justizvollzugsanstalt) und eine „Wagenburg“ oder auch Hofremise in der Heilig-Geist-Gasse erbauen.

Eine wechselvolle Geschichte begann für dieses Gebäude nach der Säkularisation vom 1803.

Im Grundsteuerkataster für Passau von 1860 ist es als „das Salzmagazinsgebäude mit den Aufgangsstiegen zu demselben“ im Besitz des Staates eingetragen.
Als Erwerbstitel ist angegeben: „Seit Aufhebung des Fürstentums Passau sind diese Gebäude dem königlichen Salzamte Passau zur Benützung eigentümlich überlassen.“

1873 ging das Remisengebäude in Privatbesitz über und wurde schließlich 1936 von der Bayerischen Warenvermittlung angekauft, die es mehrmals umbaute und nach einer nochmaligen Restaurierung und Fassadenveränderung 1980 als Verkaufshaus nutzte, bis der Freistaat Bayern 1987 das Gebäude für die Unterbringung der Gerichts- und Justizbehörden in Passau erwarb.