賴柏英是他的初戀。他們一同長大，常常在田間地頭嬉戲，在小溪中捉魚捕蝦，可謂兩小無猜。在隨后的回憶錄中，林語堂還清晰地記得賴柏英蹲在小溪邊，等著蝴蝶落在她頭發上，然后輕輕地走開，居然不會把蝴蝶驚走。本來水到渠成的婚姻，卻因賴柏英要護理久病的祖父，不愿與林語堂遠離家鄉而告吹。

第二個愛得死去活來而又未成眷屬的是泉州女子陳錦端，但陳錦端的父親卻棒打鴛鴦，雖說他也欣賞林語堂的出眾才華，卻不愿自己的女兒嫁入這個窮困的牧師家庭受罪。林語堂受此打擊，情緒十分低落。他大姐知道后，回娘家大罵林語堂一頓：“你怎么這么笨，偏偏愛上陳天恩的女兒，你打算怎么養她？陳天恩是廈門巨富，你難道想吃天鵝肉？”

陳天恩知道林語堂內心受傷不淺，為彌補心中不安，便設法把自己的鄰居——錢莊老板的二女兒廖翠鳳介紹給林語堂。廖翠鳳的哥哥與林語堂是同學，她常常聽哥哥稱贊林語堂的才華，所以也滿心歡喜。母親卻慎重告訴她：“語堂是個牧師的兒子，但是家里沒有錢。”廖翠鳳堅定地回答：“窮有什么關系？”

他們的婚禮定在1919年，蜜月是到哈弗去旅行。回到上海在征得廖翠鳳的同意后，林語堂把婚書付之一炬。他說：“把婚書燒了吧，因為婚書只是離婚時才用得著。”

林語堂后來說，他是先結婚后戀愛。他姐姐曾告訴他，廖翠鳳雖是有錢人家的千金小姐，但卻是個極賢惠的妻子。林語堂十分贊同。因為隨后走過近60年的風風雨雨，他倆都恩恩愛愛，足以證明他們的婚姻是幸福美滿的。