Dans un petit chemin tranquille du Nord, la Ruinette est une ancienne auberge achetée en viager par un couple d'instituteurs, Albert et Fanny. D'abord maison de vacances, elle devient leur résidence principale à l'heure de la retraite. Quand Fanny décède, Albert se retrouve seul dans cette maison que leurs deux fils n'apprécient guère. Il s'y constitue un havre de paix, entre voyages, lectures et conférences, jusqu'à ce qu'une attaque pose la question de son maintien dans ces lieux. Refusant de quitter sa demeure pour une maison de retraite proche de ses enfants, Albert s'y organise coûte que coûte, grâce aux aides à domicile, dont la pétulante Bernadette, et aux amis du village. Un lien étroit va se nouer avec son petit-fils, Loïc, en vacances à la Ruinette. Une nouvelle attaque laisse Albert hémiplégique. Il continuera à se battre pour pouvoir finir ses jours chez lui.