Het pand Lange Tiendeweg 41-43, waarin Banketbakkerij-tearoom Herfst is gevestigd, kent een hele lange historie.

Ooit bestond het pand uit twee aparte huizen, die rond, die rond 1874 werden afgebroken en als een geheel werden herbouwd. Van het middelste gedeelte van het pand gaat de geschiedenis terug tot 1670.

In 1872 kwam het pand in handen van Gijsbertus Belonje, die tevens eigenaar was van het belendende huis Lange Tiendeweg 41. Hij liet in 1874 beide panden slopen en herbouwen als een geheel. In 1897 werd het pand eigendom van Lukas Boogaerdt, die er een brood en banketbakkerij begon. Een van zijn specialiteiten werd de echte Goudse siroopwafel. in 1922 werden zowel het pand als de banketbakkerij overgenomen door het echtpaar Herfst. Deze familie heeft twee generaties lang hier het banketbakkersvak uitgeoefend. De familie de Borst heeft na de overname de alom bekende naam Herfst gehandhaafd.  In 1997 is de winkel zowel van binnen als van buiten ingrijpend verbouwd en uitgebreid met een tearoom.

Sinds 2014 is de familie Hoogeveen eigenaar. Edwin Hoogeveen werkte tijdens de overname al ruim 20 jaar bij de familie de Borst. In 2019 is het naastliggende pand, waar twee generaties Van Mourik Herenmode heeft gezeten en daarna Asia en Art, aangekocht en is hier een gezellige tearoom gecreëerd met de toepasselijke naam: de Huyskamer van Herfst. In deze huiselijke ruimte kan er met een goede kop koffie of thee worden genoten van al het lekkers wat Banketbakkerij Herfst te bieden heeft.

Ook aan de kinderen is gedacht: er is achterin de Huyskamer, die verrassend diep is, een leuk speelhoekje.