Love Affairs in the Afternoon menceritakan tentang Son Ji-eun (Park Ha-sun) yang pindah ke kota kecil karena pekerjaan suaminya. Di sana, ia bekerja paruh waktu di sebuah supermarket. Ia merasa hidupnya membosankan. Hingga pada suatu hari, ia bertemu dengan Yoon Jung-woo (Lee Sang-yeob), seorang guru biologi di sekolah lokal yang juga telah menikah selama lima tahun.