そのむかし、松平定信（まつだいらさだのぶ）が来遊（らいゆう）したとき、ここからの眺望絶佳（ちょうぼうぜっか）をたたえて「聚遠（しゅえん）の門（もん）」とよんでから聚遠亭（しゅえんてい）と名づけられた。