Het kasteel van Hertsberge, bijgenaamd kasteel Rapaert de Grass, kent zijn oorsprong in de vroege middeleeuwen. Het kasteel was lange tijd eigendom van de familie Rapaert de Grass, die ook enkele Hertsbergse burgemeesters leverde.
Het kasteel zelf stamt grotendeels uit de 19de eeuw. De site gaat echter minstens terug tot de 12de eeuw en is wellicht nog heel wat ouder.
Aanvankelijk stond op deze plaats een kapel die de bescherming van een motteburcht genoot. Deze burcht bevond zich ten zuiden van het huidige kasteel. Het was het centrum van de heerlijkheid Gentbrugge. De burcht is ondertussen verdwenen, maar de sporen zijn nog altijd zichtbaar.
Tijdens het ancien régime bevond de Sint-Gertrudisproosdij zich hier. De proosdij was afhankelijk van de abdij van Sint-Calixtus in Cysoing (Noord-Frankrijk).
Tijdens de Franse Periode kwam de proosdij in handen van de familie Veranneman. Zeker al voor 1829 liet Philippe Veranneman de site grondig verbouwen. Tegen de 16de eeuwse proosdijkapel werd een kasteel in Vlaamse neorenaissance-stijl gebouwd. Zo maakte de proosdij deel uit van een groter gebouwencomplex.
In 1880 werd het kasteel door Robert Rapaert de Grass aangekocht. De kapel deed na de bouw van de parochiekerk in Hertsberge in 1895, niet langer dienst als kerk voor de lokale gemeenschap.
Op het einde van de Eerste Wereldoorlog werd er rond het kasteel hevig gevochten. Hierbij liepen de gebouwen heel wat
schade op (zie foto). In de jaren 1920 werden kapel en kasteel gerestaureerd door architect Joseph de Jonghe.
Het kasteel staat midden in een sfeervol landschapspark dat ook connectie met de achterliggende vallei van de Ringbeek maakt.
Kaart: De kapel van Hertsberge op een kaart uit 1661 opgemaakt door Pierre Lust, landmeter van het Brugse Vrije.
Op de foto uit 1953 zie je mooi het contrast tussen de verschillende bouwfasen. De gebouwen op de voorgrond, momenteel eigenlijk de achterkant van het kasteel, behoren tot de proosdij. Naar de Kraaiveldstraat toe werd tegen de bestaande gebouwen, aan het begin van de 19de eeuw, een nieuw complex opgetrokken.
Het betreden van dit private kasteeldomein is zonder toestemming van de eigenaar niet toegelaten.