顧湘月的到來，令文府活躍起來，她每日纏著文徵明教她詩詞歌賦。
她喜歡和文徵明玩這樣的游戲，比如她作一首「九月草疾鶯亂飛，推窗猶聞杜鵑啼，夜風微曛拂殘柳，覓時已過橫塘西。」要文徵明就「飛、啼、柳、西」四字另作一首。
文徵明略一思索道︰「茆屋泥香燕子飛，東風日暖谷鶯啼，游人漫自穿花柳，別有風光在竹西。」
兩人樂此不疲。
以往文徵明一人清居，淡泊靜謐，如今顧湘月在旁邊嘰嘰喳喳，顛三倒四，倒是給他添了不少樂趣，雖說他自小就是喜靜之人，但顧湘月也有嫻靜溫婉之時，正如忘憂草解語花一般。
若非守孝三年，他只盼從此就朝夕相守。
他知道顧湘月喜歡吃石湖門外的蝦仁餛飩，每日起得很早，親自去買來讓她起床洗漱了就能吃。而顧湘月知道文徵明喜歡吃清蒸魚，便去向英嫂學著怎麼做，每頓都做給他吃。
這樣的日子很是幸福快樂，但文徵明並沒有因此失去理智，他還在守孝期，不該如此沉浸在甜蜜之中。
第五日早上，他依然去買來蝦仁餛飩來，輕輕地放在顧湘月房中的桌上，走至床前照例喚她起床，卻發現她用紗布把頭全包上了，只留一雙眼楮一張嘴巴在外頭，忙問起來，顧湘月道︰「我肯定是化妝品過敏了，昨晚臉上起了好多小紅點，很難看。」
文徵明又是好笑，又是擔心，道︰「那為何要包起來？」
「難看嘛！」顧湘月道︰「跟得了花柳似的，你會被嚇著，然後嫌棄我。」
「別胡說！快快解下來。」文徵明伸手去幫她解，她忙推他的手，道︰「這是木乃伊造型，埃及的神奇干尸。我怎麼也不會解的，我不想你看到我難看的樣子。」
文徵明皺眉道︰「你又胡鬧！這樣包裹得嚴嚴實實，如何痊愈？我讓文慶請郎中來，你快快解了。」他起身要走，顧湘月忙拖住他，道︰「別去叫郎中了，我幾次來文府，都請了多少次郎中了。但凡死不了人的，都沒必要花這個冤枉錢。」
文徵明一言不發，只是沉著臉看著她，她小聲道︰「你生氣了？」文徵明道︰「我的話你全然不听，何必還來招惹我？更說什麼嫁給我？你回京城去罷。」
顧湘月嚇了一跳，忙解紗布，口中道︰「那你不能嫌我丑。」她解掉紗布，怯怯地看著文徵明，文徵明看她臉上確實不少紅點，再看她一臉惶恐表情，想著她這般在乎他，不禁心中溫情，一笑坐了下來，伸手踫她臉頰，道︰「可癢可疼麼？」
顧湘月道︰「就是癢。」她有些沮喪，又道︰「小書呆，方才你的意思是不是開始認為我毫不溫柔賢淑，沒資格做人家妻子麼？」
文徵明忍俊不禁，道︰「我說過麼？我讓你回京城，只因周伯伯與逸卿還在京城等你消息，你怎能不回去？湘兒，斷案也講證據，你怎能胡亂冤枉我？」
顧湘月道︰「你在嚇我？」
文徵明笑道︰「孺子可教也！」
顧湘月捶了他兩下，笑道︰「你也會作怪！」
文徵明溫言道︰「湘兒，這三年來，我不能在你身邊，逸卿對你也多有驕縱，你這般任性妄為，不懂照顧自己，讓我如何放心得下？你不听我話，又有什麼要緊？但我也只是為你好。你休說什麼我嫌棄你的話，莫說這些疹子總會消除，便是一輩子這般，我也只憐惜你身受其苦，哪有嫌棄之理？夫妻本是一家人，哪有對方染病便拋棄之理？那樣的人，豈不是連禽shou也不如？」
顧湘月咯咯笑道︰「那你搬來跟我一起住不就可以照顧我了？」
文徵明哭笑不得，道︰「病了還有精神來說笑？此等話與我說說便罷，卻不可讓別人听到，人家不罵我也不罵你，只說周伯伯教女無方，怎生了得！」
顧湘月笑道︰「我生病了你還來訓我！」
文徵明伸手撫著她頭發，溫言道︰「本來今日我打算勸你回去，你既然病了，多留幾日也不妨。湘兒，你知道我還在為父親守孝，不可與你如此廝守，違了孝道。你我要相依相偎，來日方長，還盼你理解我。」
顧湘月點了點頭，道︰「我知道！你不說我也知道，我也打算走了的。我雖然對古代那些繁瑣的禮節不太懂，但我知道文伯伯才剛走不久，我杵在這里總是不妥。你要我走，我現在就能走，過敏算什麼？我不能讓別人對你說三道四。」
她就要起身，文徵明按住她，笑道︰「你看，每次皆是我讓你往東你偏要往西，真是該管管你了。老祝他們總說我婚後要受你欺負，還望你記得出嫁從夫才好。」
顧湘月笑道︰「他們都是瞎說！你性格溫和，那也是知府公子，身份擺在這里，頭上噌噌地冒著光輝，我哪里敢欺負你？」
文徵明失笑道︰「你這丫頭！」
文徵明仍然請文慶去找郎中開了些藥來外敷內服，到第四天早晨，紅疹已消退了很多，顧湘月趁著文徵明還沒起床，跑去廚房做了一鍋他早上習慣吃的白粥，偷偷地離開了文府，自去碼頭搭船前往京城。
得知她走了以後，文徵明卻又呆呆地立在窗前，提起筆來竟不知寫什麼好，飽蘸的墨一滴滴地落在空白的紙上，他卻渾然不覺。
「公子，你的心也隨湘月姑娘飛走了麼？」文慶在外面笑道，
文徵明微微嘆了一聲，道︰「文慶，你多費心照顧李姑娘，切莫教昌谷怪我怠慢。」
文慶道︰「知道了。在周府時唐公子曾問過李姑娘，原來出身善和坊。公子可還記得前次小的陪公子前往揚州做客，就曾經受主人邀請同去過善和坊，那是什麼地方？公子一向不喜歡這種身份的女子，卻不知為何答應收留李姑娘？」
文徵明道︰「昌谷托付，湘兒將端端當作妹妹一般，如何相拒？你只照顧好她便是，吃穿不可缺！李姑娘雖來自善和坊，原先卻是紅樓小姐，料想必定是知書達理之人，若非如此，昌谷必不會心儀于她。說到善和坊，明面也只是個歌舞教坊，我們只須裝作不知便可，何必認真？」
次日中午，文徵明剛用過午飯，徐伯來報說一個丫鬟求見。
他出去看是一個面生的丫鬟，那丫鬟見了他施了一禮，道︰「文公子，婢子是吳老爺府上的紅萼，是吳小姐身邊的貼身丫鬟。今日前來，希望公子隨婢子前往橫塘，小姐在那等公子。」
文徵明一愣，道︰「紅萼姑娘，吳小姐想必已經知曉我與周家小姐訂了親事，待三年孝期後便會成親，小姐約我相見，于禮不合。還望姑娘回復小姐，我不能見她。」
紅萼笑道︰「我可不管什麼禮不禮的，小姐有命，婢子若不能將公子請去，只是婢子的過錯，還望公子瞧著婢子可憐，走一遭罷。」
文徵明道︰「姑娘可知小姐約我前去所為何事？」
紅萼道︰「婢子不知。公子去了不就知道了麼？」
文徵明沉吟不語，父親二十歲考中進士，便與吳愈相識，小時候他與吳愈的女兒吳緒嬌還曾一起讀書，可算得「郎騎竹馬來，繞床弄青梅」的交情，吳緒嬌溫柔嫻靜，喜愛讀書，若不曾遇到顧湘月，他是願意娶吳緒嬌為妻的。後來他與吳緒嬌長大了以後為避嫌便不再相見，他對吳緒嬌，有的只是朋友一般的情誼。他先應允親事又再拒，對吳緒嬌心中充滿了愧疚，如今她約他相見，他若不去，豈不是太不近人情了麼？
思及此，他點了點頭，「姑娘稍候，我換件衣裳隨姑娘去。」
他跟著紅萼來到橫塘邊，遠遠便見吳緒嬌坐在臨水小亭中，眼楮望著湖水，似一尊泥像一般一動不動。
紅萼向他努了努嘴，轉身去了。
文徵明走上前去，行禮道︰「吳小姐，小生這廂有禮了。」兩人多年不曾見面，面前的吳緒嬌，已不是他記憶中那個小姑娘的模樣，姿色雖不是傾國傾城，但卻自有一番溫婉賢惠的氣質。
他說得如此見外，吳緒嬌身子微微一顫，站起身來還了一禮，「公子請坐下說話。」
文徵明坐了下來，吳緒嬌卻一言不發，低垂著頭，他也靜靜地坐著。
良久，吳緒嬌抬起頭來，往亭外枝頭看了一眼，輕輕道︰「一枝可容二鳥？」
文徵明怔住了，他不想吳緒嬌待他這般專情，連做二房也願意，她說的是︰「我能與顧湘月效仿娥皇女英共侍一夫麼？」
他微微嘆了一聲，道︰「單人只掌孤舟！」他的意思是，一個艄公就只能掌一葉扁舟，他只願娶顧湘月一人。
吳緒嬌眼圈一紅，卻仍不甘心，又指著亭外盛開的花，道︰「春風海涵，花未一枝獨秀。」
文徵明搖頭道︰「弈客貪欲，棋成全盤皆輸。」
吳緒嬌說的是春風胸懷博大，故而春色才百花爭妍，意思是︰「你容下我不好麼？身邊兩個妻子，各有所長。」他回答的是對弈的人都想吃對方更多棋子，反而困死了自己，含義是︰「人若貪婪，希望得到越多失去的卻越多。」
吳緒嬌內心失望，低聲道︰「公子當知我絕不是那善妒之人，若……若能容我，我定與顧姑娘親如姊妹。」
她自幼溫婉知禮，如今壯著膽子說出這番話來，不由文徵明不感慨，但他只是微微嘆息，想了想說道︰「束發未期滿庭芳，繁花惜春益自傷。不忍分奪枝頭色，只羨池塘雙鴛鴦。」他知道吳緒嬌是聰明人，只拿這些對聯詩詞來表明自己心跡，不忍直接拒絕。
按理說，吳緒嬌溫柔文靜，顧湘月活潑開朗，若是同時都娶了，也沒什麼不好。但是文徵明只覺得自己的感情無法平分，若一娶兩人，勢必會辜負其中一個，更何況，他就只想娶一個妻子，這是他從來也不曾改變過的想法。
吳緒嬌嘆了一口氣，道︰「我與公子自幼相識，早該了解公子品行，今日是我多此一舉了。」
文徵明起身一揖，道︰「明愧對妹妹，今日應妹妹之約，是特為道歉而來。若非妹妹約我，我束于禮教，愧于前事，實在是無顏見你。你我雖青梅竹馬，只是感情之事，無關相識時日長短，還請妹妹諒我一遭，江南勝我之人眾多，只願妹妹他日尋得如意郎君，明定奉禮道賀。告辭了！」
「等等！」吳緒嬌從袖中取出一把剪刀來，文徵明嚇了一跳，忙道︰「你……你要做什麼？緒嬌妹妹，快休得如此。」
吳緒嬌勉強笑道︰「明哥哥，我想你也知我為人，我不是那無理取鬧之人。我不逼你，我能理解你對顧小姐一片痴心，我贊賞你對她的情有獨鐘。只是我今生嫁你無望，願自此青燈長卷相伴，我的心已給了你，于我便是圓滿。我只絞落一縷青絲，以應此言！」
她 嚓一下剪下一段發絲來，「明哥哥，請你收下！當是成全了我。」文徵明接了過來，心頭悲戚，卻無言安慰。
他轉頭便走，路上下起了淅淅小雨，他淋得渾身濕透，著涼加上心緒不佳，回到家就病倒了。
不巧的是他病後第二天，老太太也病了，府中下人就只有清雨、文慶、英嫂與老管家徐曉生，英嫂本來只管廚房，連她也幫上手了，這才稍微緩解。
李端端尋思自己住在文府，雖是外人，總不能看著不管，她自幼熟知禮儀，只是幫煎藥生火，不去內堂，不進臥房。
怎知這日文慶出門去了，她看文徵明無人照料，便端著茶水來到他的臥室門口，猶豫片刻，走了進去。
文徵明病得迷迷糊糊，只見一個女子進來欲喂他喝水，只道是清雨，便就著她手中碗喝了，略略清醒了些，才發現是李端端，稍稍坐起身來，道︰「有勞李姑娘！只是往後不敢勞姑娘動手，以免招來閑言蜚語。」
他說得十分客氣婉轉，但李端端听出來了，他是不希望她踏入他的臥房，頓時清淚盈眶，顫聲道︰「公子不妨直言，可是嫌我出身善和坊不干淨？」
文徵明沉默片刻，搖了搖頭，道︰「姑娘誤會了，明守舊，此言只為禮教而來，絕無嫌棄姑娘之意。」
他並未覺得李端端髒，然而他就是避諱青樓女子，這樣的身份對他而言是個陰影——兩年以前，文徵明剛滿十七歲的時候。朋友一向知他為人循規蹈矩，但他們深信人不風流枉少年，哪肯相信文徵明血氣方剛的年紀當真能夠坐懷不亂？沒道理大家同為好友他獨善其身，因此由祝枝山出了個主意，找了徐禎卿的書童徐松去請文徵明，只說其他人在石湖等他飲酒談詩。
文徵明欣然前往，誰知到了那兒卻不見幾位好友身影，卻有一葉畫舫緩緩飄近，船頭的丫鬟請他上去，說徐禎卿等人便在舫中，等他多時。
他也未曾多想，上了畫舫去，推開門一看，哪有好友？只有一個絕子，薄衫微掩，抹胸半露，神態嬌媚，他慌神想要走，畫舫早已離岸，那女子將他扯住，使盡手段，只想令他就範，這樣的經歷對他來說直是屈辱不堪。
其實他不是不懂欣賞美貌女子，更不是無情之人，只是他有他的底線，糾纏之下，險些跌落湖中，那女子怕鬧出人命來，總算罷了手。
這件事傳了出去，長輩鄉鄰對他愈加贊賞，好友們也才知他素日溫和，骨子里也有烈性，不敢在此事上再拿他取樂。
祝枝山的原話是︰「素聞女慕貞潔，卻未聞男慕完璧，小文要一生身心托一人，那也無法。」
李端端心思何等細膩，何況原來就曾听說文徵明十分忌諱青樓女子，雖不知什麼原因。她含淚跑出了房間，回到房中收拾衣物準備離開，垂淚不止。暗想︰文公子嫌我，徐公子家人如何不嫌？我既愛徐公子，何苦讓他遭人嘲笑？既然如此，反不如死了的好，其實我就不該活在這個世上的。「
為明心志，她寫下一首詩留在桌上，悄悄走了。
次日文徵明才看到李端端的絕命詩，她寫的是「此生怎堪冷眼識，閨中曾不負高姿，可奈來去不由己，殘墨和淚題絕詩。「
他急了，忙帶著文慶出去找，听說太湖那邊有人見一個女子投水自盡，急忙趕了過去，將身上帶的全部一百多兩拿出來請一個三十來歲的船夫打撈，那船夫隨意找了一番，要求加錢，文慶怒道︰「一百兩撈個人夠你幾年打漁收益了，如此人命關天之時，你還敢獅子大開口。」
文徵明身上實在沒任何值錢物件了，只得道︰「這位小哥，我們實在沒有了，今日出門走得急，不曾帶得許多銀兩。救人一命勝造七級浮屠，還請發發善心，待明日我再取錢前來酬謝。」
那船夫死活不干，回去的程中見湖面飄著一件粉色披風，撈起來一看，正是李端端之物。
回到家中，文徵明又是自責又是懊悔。他與李端端不熟，曾經在他心中，她也只如那些肯為錢財出賣清白的女子一般，即使接近徐禎卿，也是工于心計，誰料她如此剛烈？
他懷著內疚痛惜寫了封信給徐禎卿，連同李端端的披風和絕命詩，差人送去京城。