Sau khi ổn định được nội bộ, Tống Thái Tổ hăng hái thực hiện hoài bão dùng quân sự để thống nhất toàn quốc. Lúc đó, "mười nước" thời Ngũ Đại còn lại Bắc Hán ở miền bắc, Nam Đường, Ngô Việt, Hậu Thục, Nam Hán, Nam Bình ở miền nam. Muốn thống nhất toàn quốc, nên bắt đầu từ đâu trước? Tống Thái Tổ suy nghĩ nhiều ngày, vẫn không quyết định được. Một đêm, trời nổi gió tuyết, Triệu Phổ đang đốt lửa sưởi trong nhà, bỗng nghe thấy tiếng gõ cửa. Triệu Phổ lấy làm lạ: đêm hôm giá rét thế này, còn có ai tới tìm có việc gì? Ông mở cửa ra xem, thì thấy 1 người đội mũ cao, đang đứng trong đám tuyết. Triệu Phổ định thần nhìn kĩ, bỗng giật mình: người đứng đó chính là Tống Thái Tổ. Triệu Phổ vội mời Tống Thái Tổ vào nhà, khơi to ngọn lửa, đem thịt ra nướng và gọi vợ mang rượu ra mời hoàng đế. Triệu Phổ hỏi: "Tuyết xuống lớn như thế, sao bệ hạ còn đi ra ngoài?"

Tống Thái Tổ nói: "Trẫm suy nghĩ một việc, không sao ngủ được, liền đến bàn với khanh đây!".

Triệu Phổ đoán ngay được Tống Thái Tổ muốn nói đến điều gì, suy nghĩ 1 lát rồi nói: "Nếu chúng ta đánh Bắc Hán trước, thì sẽ bị Liêu uy hiếp. Chi bằng bình định phương nam trước rồi sẽ quay lại đánh Bắc Hán. Nước Bắc Hán bé tẹo, chẳng qua chỉ như chỉ như một cái kẹo. Có thể chậm một chút cũng không chạy đi đâu được!".

Tống Thái Tổ phấn khởi cười nói: "Suy nghĩ của chúng ta phù hợp với nhau rồi".

Sau khi Tống Thái Tổ và Triệu Phổ quyết định theo kế hoạch "trước nam sau bắc", thì trong khoảng 10 năm, lần lượt mang quân tiêu diệt Nam Bình, Hậu Thục, Nam Hán. Như vậy, các thế lực cát cứ ở miền nam chỉ còn 2 nước là Nam Đường và Ngô Việt. Nam Đường là 1 chính quyền cát cứ lớn mạnh nhất trong số "10 nước". Nơi đây đất đai phì nhiêu, lại không bị chiến tranh phá hoại như miền Trung nguyên nên kinh tế phồn vinh, đất nước giàu mạnh. Nhưng quốc vương Nam Đường đều là những kẻ tối tăm, bất lực, khiến đất nước mỗi ngày 1 suy nhược. Quốc vương cuối cùng của Nam Đường là Lý Dục, lịch sử gọi là Nam Đường Hậu Chủ, là 1 người sáng tác từ nổi tiếng. Ông rất tinh thông thơ từ, âm nhạc, thư họa, nhưng không hề am hiểu việc cai trị đất nước. Sau khi Bắc Tống được thành lập, hàng năm Lý Dục tiến cống cho Bắc Tống rất nhiều của cải vàng bạc để mong duy trì địa vị. Về sau, thấy Tống Thái Tổ liên tiếp tiêu diệt 3 nước nhỏ xung quanh thì hoảng sợ, vội phái sứ giả mang thư gửi Tống Thái Tổ, tỏ ý xin thủ tiêu quốc hiệu Nam Đường, bản thân xin đổi gọi là "Nam Giang quốc chủ". Nhưng 1 nhượng bộ nhỏ nhặt như vậy, sao có thể làm thay đổi quyết tâm thống nhất đất nước của Tống Thái Tổ.

Tháng 9 năm 974, Tống Thái Tổ phái 2 đại tướng là Tào Bân và Phan Mỹ dẫn 10 vạn quân, theo 2 đường thủy bộ tiến đánh Nam Đường. Tào Bân dẫn thủy quân xuất phát từ Kinh Nam xuôi dòng xuống phía đông, nhanh chóng chiếm được Trì Châu (nay là Quí Trì, An Huy) rồi tiến lên Thái Thạch Cơ (nay là thành phố Mã Yên Sơn, An Huy). Bộ binh do Phan Mỹ chỉ huy tiến tới Giang Bắc, bị sông lớn ngăn trở việc tiến quân. Có người hiến kế cho quân Tống: dùng bè tre và thuyền lớn ghép thành cầu phao để cho bộ binh qua sông. Phan Mỹ nghe theo kế, lập tức cho làm cầu phao. Tin đó truyền tới Kim Lăng (nay là Nam Kinh), quốc đô của Nam Đường; trong lúc vua tôi Nam Đường đang say sưa trong tiệc rượu, Lý Hậu Chủ hỏi quần thần nên làm thế nào? Các đại thần nói: "Từ thời cổ tới nay, chưa từng nghe nói tới việc bắc cầu phao qua sông. Nhất định không thể làm được việc đó!".

Hậu Chủ nghe nói, cười ha hả: "Ta đã nói từ lâu rằng, chúng chỉ bày ra trò con nít mà thôi".

3 ngày sau, quân Tống bắc xong cầu phao, đội quân của Phan Mỹ rầm rập kéo qua sông như đi trên đường bộ. Quân phòng thủ của Nam Đường, tốp thì thua trận, tốp thì đầu hàng, 10 vạn quân Tống nhanh chóng áp sát thành Kim Lăng. Lúc đó, Lý Hậu Chủ đang cùng 1 số hòa thượng đạo sĩ đọc kinh giảng đạo trong cung, không hề hay biết quân Tống đã tới chân thành. Một hôm, ông lên thành quan sát, thấy khắp nơi san sát cờ Tống thì giật nảy mình, vội vàng trở về cung, phái đại thần là Từ Huyền tới Đông Kinh xin hòa. Từ Huyền gặp Tống Thái Tổ, nói: "Lý Dục đối với bệ hạ cung kính, hiếu thuận như con đối với cha, sao bệ hạ còn mang quân tới thảo phạt?".

Tống Thái Tổ vặn lại: "Ngươi hãy nói thử xem, cha và con có thể chia thành hai nhà riêng biệt được không?".

Từ Huyền không trả lời được, trở về tâu lại với Lý Hậu Chủ. 1 tháng sau, quân Tống vây thành ngày càng chặt, Lý Hậu Chủ lại cử Từ Huyền tới Đông Kinh. Từ Huyền khẩn thiết van xin Tống Thái Tổ không nên tiến công Kim Lăng. Tống Thái Tô không muốn nghe nữa, đứng dậy nắm chặt chuôi kiếm, nổi giận đùng đùng nói: "Ngươi không phải nói nhiều! Lý Dục không có tội gì, nhưng nay thiên hạ là một nhà, ta không cho phép kẻ nào nằm ngáy o o bên cạnh giường ngủ của ta!".

Từ Huyền thấy có van nữa cũng vô ích, đành trở về Kim Lăng. Lý Hậu Chủ nghe tâu, biết rằng không còn hy vọng cầu hòa, liền điều động 15 vạn quân đang phòng thủ ở Thượng Giang về cứu. Viện binh tới Hoàn Khẩu bị quân Tống từ 2 bên đánh ập lại. Quân Nam Đường phóng hỏa định đốt quân Tống, ngờ đâu gió bắc nổi lên, lửa cháy tạt vào quân Nam Đường, toàn thể đội viện binh bị tiêu diệt. Tào Bân cử người vào thành khuyên Lý hậu chủ mau đầu hàng, tránh cho tài sản và tính mạng dân trong thành khỏi bị hủy diệt. Hậu chủ muốn chần chừ kéo dài việc chống cự, Tào Bân liền hạ lệnh công thành. Hôm sau, thành bị vỡ, quân Tào Bân, đội ngũ nghiêm chỉnh tiến vào Kim Lăng, giữ yên trật tự. Lý hậu chủ sai người chất củi cỏ trong cung, chuẩn bị châm lửa tự sát, nhưng cuối cùng không đủ dũng khí làm việc đó. Không có cách nào khác, ông đành dẫn các đại thần ra khỏi cung, đầu hàng Tào Bân. Lý hậu chủ bị giải về Đông Kinh, Tống Thái Tổ đối xử với ông khá ưu đãi. Nhưng từ địa vị 1 quốc vương rơi xuống thân phận 1 tù binh mất nước, ông không tránh khỏi nỗi niềm cay đắng, sống những ngày buồn khổ đầy nước mắt. Vốn là 1 người giỏi viết từ, trong những ngày này, ông đã viết nên những câu tràn ngập bi thương. Có những câu nổi tiếng như:

"Hỡi người muôn vạn sầu thương

Sông xuân nước chảy xuôi dòng về đông".