濟公自稱“幼生宦室”。濟公的師侄居簡《湖隱方圓叟舍利塔銘》說他是“天臺臨海都尉李文和遠孫”。李遵勖（988?1038），初名勖，因娶宋真宗趙恒妹萬壽公主，而加“遵”字為“遵勖”，字公武，逝世后謚號和文，為李崇矩孫，濟公高祖。其世系為：李崇炬李繼昌??李遵勖??李端懿、李端愿、李端愨??李評??李涓??李茂春??李修元（修緣）。該家族有三個特點：一是世代仕宦，且為將門；二是為官清正，政績卓著，名列《宋史》；三是歷世積善信佛，家族中不少人是禪宗的著名居士。隨著宋室南遷，李氏子孫流寓其高祖李遵勖封（食）邑浙東天臺，隱居于赤城山南麓、天臺城北的永寧村。濟公之父李茂春，目擊朝廷腐敗，棄官隱居經商、念佛，為人淳樸厚重，樂善好施。 　　永寧村在古城北門外，濟公家就住在赭溪畔。濟公李氏家族人丁不很旺盛，但因歷世仕宦，家境富裕，也稱得上是天臺的望族了。赭溪西岸的一大片田地（現都已建成一片民居了），就屬于這個家族所有，至今人們還稱作“李家？”。發源于北山的赭溪是孩童時濟公看水碓舂米、捕魚游泳玩耍的好去處。石墻頭邊上有“隴西園”，古時這里是濟公李氏的私家莊園。抗戰時在此處還設立過“忠烈祠”。