有一天，郭子仪帐下的一名将官要调到外地任职，来王府辞行。他知道郭子仪府中百无禁忌，就一直走进了内宅。恰巧，他看见郭子仪的夫人和他的爱女正在梳妆打扮，而王爷郭子仪正在一旁侍奉她们，她们一会儿要王爷递毛巾，一会儿要他去端水，使唤王爷就好像奴仆一样。这位将官当时不敢讥笑郭子仪，回家后，他禁不住讲给他的家人听，于是一传十，十传百，没几天，整个京城的人都把这件事当成笑话来谈论。郭子仪听了倒没有什么，他的几个儿子听了却觉得大丢王爷的面子，他们决定对父亲提出建议。
他们相约一齐来找父亲，要他下令，像别的王府一样，关起大门，不让闲杂人等出入。郭子仪听了哈哈一笑，几个儿子哭着跪下来求他，一个儿子说：“父王您功业显赫，普天下的人都尊敬您，可是您自己却不尊重自己，不管什么人，您都让他们随意进入内宅。孩儿们认为，即使商朝的贤相伊尹、汉朝的大将霍光也无法做到您这样。”
郭子仪听了这些话，收敛了笑容，对他的儿子们语重心长地说：“我敞开府门，任人进出，不是为了追求浮名虚誉，而是为了自保，为了保全我们全家人的性命。”