牛廷章，江西布商，娶妻鄭氏，生下兩個孩子，一男一女。牛成章三十二歲那年病死，兒子牛忠，其時才十二歲，女兒八九歲而已。妻子不能守貞，卷走家財，改嫁旁人。留下兩名孤兒，難以存活，幸虧伯母心善，收留牛忠兄妹，極力關照。
伯母六十多歲，家貧守寡，數年之後，便即死去。牛忠漸漸長大，想要繼承父業，賣布經商，身邊卻沒資本。妹妹嫁給富商毛某為妻，在她幫助下，借來數十兩紋銀。
牛忠拿著這些銀兩，與朋友一起前往金陵闖蕩，半路中遇上強盜，錢財被劫一空，一個人四處飄零，這一天來到一處店鋪，鋪內一名主人，容貌酷似生父。暗中訪查姓名，也與父親一般無二。牛忠心中訝異，每日在店前流連，店主人雖然時常看見他，但神情冷淡，似乎並不相識。
如此過去三日，店主人言行舉止，無一不與父親類似，牛忠渴望與父親相認，于是毛遂自薦，以同鄉名義，前往店中打雜。彼此簽下契約，契約上詳詳細細寫明自己籍貫，姓名，年齡大小。
店主人乍見契約內容，神色一顫，問道︰「你父親是誰？」牛忠如實說了，聲音哽咽。店主人悵然若失，半晌問道︰「你母親還好吧。」牛忠不敢直言父親已死，說道︰「自從六年前父親外出經商，母親便改嫁離去。兄妹二人多虧了伯母撫育，不然，早就尸骨無存。」
店主人慘然道︰「我就是你父親。」兩人握手悲哀。牛成章引導兒子參拜後母，後母姓姬，三十來歲，並無子嗣，一見牛忠，十分欣喜，當即設宴款待。
自此後，牛忠便在店中住下，跟隨父親學習經商之道。牛廷章終日悶悶不樂，如此過了三個多月，眼見兒子業務嫻熟，于是提出要回老家一趟。
牛廷章去後，牛忠跟姬氏說︰「母親，我跟你說實話，其實我父親已死去很久，眼前之人，多半是鬼魂。」姬氏大驚，說道︰「你父親與我朝夕相處六年，並無半分可疑之處，怎會是鬼？」牛忠嘆了口氣，當下將真相一一說了。姬氏聞言，心中駭然，半信半疑。
過了一晚，牛廷章去而復返，手中提著一名婦女，蓬頭垢面，正是牛忠生母鄭氏。牛廷章滿臉怒氣，一把揪住鄭氏耳朵，罵道︰「惡女人，你改嫁我不怪你，但為什麼要丟棄兒女？」
鄭氏渾身顫抖，趴伏在地，不敢動彈。牛廷章張口咬住妻子脖頸，鄭氏吃痛，口中叫道︰「兒子救命，救命！」牛忠見狀，心中不忍，當即上前勸架，用身體將父母隔開，牛廷章兀自恨恨不已，但頃刻之間，鄭氏已不知所蹤。
眾人大驚，紛紛道︰「白日見鬼了。」轉眼再看牛廷章，只見他臉色慘變，忽然間化為一股黑氣，魂飛魄散，只留下幾件衣服鞋帽。牛忠又驚又嘆，默默撿起父親遺物，入土埋葬，造了一座衣冠冢。
後來牛忠子承父業，生意越做越好，家財萬貫。有一次回家看望妹妹，跟鄉民一打听，原來生母正是被牛廷章懲罰致死。