●【会试不第，建园解闷】●
上海人入国史，始于明；在《明史》中有传的，仅数人；官二品以上的，又只有徐光启与潘恩两位。潘恩家住今豫园东边的安仁街上，他生有三子，豫园是次子潘允端建造的。
那是嘉靖三十八年（1559），四年前中了举人的潘允端，当时34岁，进京会试，没有考上，很不愉快，为解闷儿，就把家里菜园子的一个角落，垒石挖池，栽花种树，虽说弄着玩玩，也算是个园林。
●【派官回避，父亲致仕】●
三年以后再考，潘允端中了进士。没想到任命他的官职，是在刑部；而潘恩当时，正担任着左都御史（相当于国家总检察长），父子俩在同一个系统为上下级，按制度，后者应回避。吏部尚书郭某恰巧是潘恩的门生，于是把潘允端调到礼部去了。
有人向朝廷告发，说潘恩纵容儿子，潘允端钻营门路。结果，潘允端给调工部，到淮河上去干漕运差事。潘恩我按他生平之磊落，估计没给允端说过情，但因为儿子事干系难脱，被弹劾脸面无光，请求提前退休，获准回了老家。
●【神仙托梦，回家造园】●
后来，潘允端升了官，一直做到了主管四川一省民政财政的从二品的右布政使。
不过好景不长，就在万历五年（1577）年初，他做了个梦，梦见神仙赐给他一方玉章，上有八个字：“有山可樵，有泽可渔。”当时还不明白什么意思。不到一个月，解官命令下来了。
按：至于他怎么会被突然免职，从来没人探究过，或虽探究却无结果。据我研究考证，是偶尔失言，惹得上司巡抚曾省吾不开心，于是找个借口，给罢了官（见后附《潘永端小传》）。
这下，潘允端恍然大悟，神仙为什么要赐他玉章上八个字：从前在淮河干漕运时，我曾写信给父亲，说自己家中“有亲可事，有子可教，有田可耕”，何必留恋这鸡肋似的官职，还不如辞官回家算了；如今，神仙又给我加了这同样含着“有”和“可”的两句话八个字。可老家在上海城里，哪来“山”哪来“泽”呢？噢，明白了，掇石可为山，辟池可为泽，原来神仙是要我回家去，把那十八年前开了个头的园林造造好啊！
所以，豫园建成后，潘允端将一处幽雅的建筑，命名为“五可斋”。
●【起名“豫园”】●
潘允端心宽气平，回到上海，大兴土木。这时他52岁，潘恩82岁，儿子对于父亲当年被迫从正二品官职上提前退休，心怀内疚，便说造这个园林是为了“愉悦老亲”，取名豫园——“豫”是《易》六十四卦之一，上震下坤，意为平安、舒适、健康、愉快。
许多书说豫园从 1559年到1577年，造了一十八年，误，潘自己说那些年他一直在外做官，老家的园林嘛，“屡作屡止，未有成绩”。
