En række lokale aktionærer i byen og nærmeste omegn skød i 1891 penge ind, så der kunne bygges et forsamlingshus på den fælles byjord i Hvilsager by, ved bydammen, hvor tre veje krydsede hinanden. Det er samme placering, huset har i dag, men bydammen og vejen bag om forsamlingshuset er for længst sløjfet.
Forsamlingshuset blev indviet 19. november 1891 med det formål at skabe gode rammer for lokale kulturelle og sociale formål. Sådan fungerer huset stadig.
I 1925 blev byens genforeningssten flyttet til anlægget ved forsamlingshuset, hvor den fortsat står.
Det nuværende hus er bygget i 1934. Det blev midt i 1970’erne forsynet med en tilbygning med garderobe og toiletfaciliteter, og i slutningen af 1990’erne er huset blevet udbygget med scenerum. På sydvægen har maler Sørensen fra Mørke i 1934 lavet et markant vægbillede med seks flyvende svaner, som endnu kan ses.
Efter en brand i 2015 fremstår forsamlingshuset nu nyrenoveret.
Historiske værker
Der er blevet udarbejdet noget historisk indhold omkring Hvilsager forsamlingshus.
