一个就是他被彻底关在科举考试的大门之外。在“学而优则仕”的封建时代，科举是士子们进入官场、去实践“达则兼济天下”这一人生目标的唯一的一条渠道，而这个品学兼优的“三好学生”从此就要告别考场，告别学校，告别他为之奋斗的一切。大门对他关上了，科举仕途已宣告彻底无望。这对于唐伯虎这样的一个封建文人来说，几乎没有什么打击比这更大的了。
另外一个就是他在狱中所受的屈辱。虽然最终出狱了，但唐伯虎在狱中呆了足足有一年多的时光，这期间他吃的苦头让他的心理状态产生了一定的变化。他在给他的好朋友文征明的信中说：“至于天子震赫，召捕诏狱，自贯三木，吏卒如虎，举头抱地，涕泪横集。”就是说这场牢狱之灾委屈之极不算，在狱中还经常被狱卒打，被狱卒羞辱。作为当时“超级男生”的代表，一代青年才俊，唐伯虎怎么能忍受这种屈辱呢？所以他在后来的人生里表现出狂士的一面来，和他的狱中生活，以及他被科举拒之门外应该都有一定程度的关系。既然仕途这个发展道路被断送了，唐伯虎又回到了苏州，过起了他的文士生活。因为在古代不做官的文人很难在物资生活有巨大的保障，所以虽然唐伯虎一直很有名，他的字画卖的钱也仅能供他糊口之用而已。实际上他一直很穷，而穷，正是他不得已要“贷款”买房、要做“房奴”的另外一个关键的原因。
既然这么穷，为什么还要买桃花坞的别墅来住呢？
有一种说法是——为了“秋香”！
因为唐伯虎贷款买房大概是在他三十七岁的时候，而据记载，他是在三十六岁那年娶了那位对他一笑倾城、三笑倾心的“秋香”姑娘。
说起来唐伯虎与秋香的婚姻，那似乎不能用一个“娶”字，而应该要用一个“点”字，因为从古到今，我们一直津津乐道的是“唐伯虎点秋香”的故事。
事实上周星驰主演的香港电影《唐伯虎点秋香》倒还真的没夸大多少。除了武功与“小强”之外，据冯梦龙的话本小说《唐解元一笑姻缘》来看，这个“点秋香”的历程倒还真跟电影里基本相同。说有一天唐伯虎在苏州阊门的河边作画，渐渐地就进入了艺术境界，艺术家一旦进入艺术的境界，往往就目中无人了。据说当时他虽然没有像周星星同学戏弄祝枝山那样脱光了衣服在大宣纸上“墨爬滚打”，但那份艺术气质也是让人叹为观止的。在这种情况下，只有观众瞻仰他的份，哪有他来看你的份儿？可偏偏就有一个人，一下子就闯进了唐伯虎的视线里！
