Hòa ước 1862 dù sao cũng đem lại cho nước Việt Nam vài năm thái bình. Vua Tự Đức định hàn những vết thương miền Nam bằng cách sai một phái bộ ngoại giao sang Pháp, bệ kiến Nã Phá Luân đệ tam, xin chuộc ba tỉnh Biên Hòa, Gia Định và Định Tường. Hai quan đại thần Phan Thanh Giản và Phạm Phú Thứ cầm đầu phái bộ, được chính phủ Pháp tiếp rước trọng hậu. Nhưng người Pháp chẳng thuận giao ngay cho ta ba tỉnh trên như ta yêu cầu. Họ chỉ công nhận nguyên tắc chính đáng cuộc hành động của ta và hứa hẹn sẽ nhượng bộ cho ít nhiều về đất đai.
Năm sau (1864), Aubaret thay mặt nước Pháp đến Huế để điều đình một hòa ước mới. Theo lời đề nghị thì họ sẽ trả cho ta ba tỉnh miền Tiền Giang Nam kỳ, trừ những thị trấn quan hệ như Sài Gòn, Chợ Lớn, Vũng Tàu, Mỹ Tho, Thủ Dầu Một và mỗi năm ta phải chịu một món tiền quân phí vĩnh viễn từ 2 đến 3 triệu đồng.
Triều đình không thể nhận ngay đề nghị này, vì lẽ dễ hiểu là nếu trả số tiền khổng lồ hàng năm ấy, tài nguyên của ta sẽ bị khánh kiệt. Vua Tự Đức truyền lệnh kéo dài cuộc thương thuyết, có ý mong mỏi người Pháp bớt số tiền quân phí nhiều chừng nào may chừng ấy. Nhưng bên Pháp, dư luận nổi lên phản kháng việc này. Qua năm 1865, chính phủ Pháp tuyên bố không vì lẽ gì cho ta chuộc ba tỉnh đã mất.
Tháng 10 năm 1866, đô đốc Lagrandière buộc triều đình giao nước Pháp ba tỉnh Hậu Giang. Ta không ưng thuận.
Đến tháng 6 năm 1867, Đô đốc được chính phủ sai đem quân chiếm thành Vĩnh Long. Quan Kinh lược Phan Thanh Giản liệu không thể chống cự nổi, truyền lệnh mở cửa thành đầu hàng. Thành mất, Phan Thanh Giản uống thuốc độc tự tử. Quân ta túng thế, giao luôn hai tỉnh Châu Đốc, Hà Tiên cho người Pháp.
Thế là bóng cờ tam tài bao trùm khắp cả lục tỉnh Nam kỳ.
Nguyễn Tri Phương hồi này giữ chức Thượng thư bộ Binh. Tuổi đã cao, ông lại thức thâu đêm để xem xét mọi việc trong bộ, nên thần sắc mỗi ngày mỗi kém.
Vua Tự Đức thấy thế, không bằng lòng, dụ:
“Đời xưa đãi các vị đại thần, các bậc đế vương không bao giờ giao họ những công việc nặng nề quá. Bộ Binh mỗi ngày tiếp các tờ tư, báo kể đến hàng trăm, thế mà khanh một mình xét đoán tất cả, thì sao khỏi hao tổn tâm lực. Từ nay về sau, các quan Tham tri, Thị lang, Tá lý phải thay khanh trông nom việc bộ, cho khanh được thanh nhàn. Chỉ có việc gì trọng yếu lắm mới giao cho khanh duyệt y”.
Năm Tự Đức thứ 21 (1868), giặc Tàu là Ngô Côn làm phản, vây thành Cao Bằng. Việc phòng thủ hai thành ở biên giới là Cao Bằng và Lạng Sơn trở nên một vấn đề quan hệ và khẩn cấp. Nhà vua hỏi ý kiến đình thần, thì Nguyễn Tri Phương tâu từ trước đến giờ Cao Bằng và Lạng Sơn vẫn tách riêng ra một cõi. Trong cơn binh lửa, dân gian đã cung cấp nhiều, tài lực của họ đã cạn. Vậy nên phái một vị trọng thần ra trấn thủ đất Bắc để gây thanh thế cho triều đình.
Việc này, nhà vua đã nghĩ rồi, Sơn Tây có Nguyễn Bá Nghi, Hà Nội có Đào Trí, Bắc Ninh có Bùi Tuấn. Những người này đều là bậc huân thần. Nhưng am hiểu xứ Bắc và đủ sức dẹp yên loạn lạc thì không ai bằng Nguyễn Tri Phương.
Nhà vua phán:
“Khanh tuổi già, lâu nay khó nhọc luôn. Trẫm không muốn phiền đến khanh”.
Dù biết Nguyễn Tri Phương thích mạo hiểm và gánh vác công việc nặng nề ở ngoài biên cảnh hơn là ở tại triều mà đọc những công văn của bộ Binh, nhà vua cũng không thuận. Ông phải lưu lại kinh để gìn giữ nơi căn bản của triều đình.
Giặc Tàu Ngô Côn vẫn đánh phá Lạng Sơn, quân Nam triều bị thua nhiều trận, quan Tham tán Nguyễn Mai, Đề đốc Nguyễn Viết Thành đều tử trận. Thống đốc Phạm Chí Hương bị quân địch bắt. Được những tin dữ dội ở Bắc kỳ báo về, Nguyễn Tri Phương quyết chí xin cử binh ra dẹp giặc. Nhà vua cũng vẫn không để ông rời khỏi triều.
Vua Tự Đức thấy công việc bộ Binh rất nhiều mà Nguyễn Tri Phương tuổi già sức yếu, lại thêm mang bệnh, vì những vết thương ở trận Chí Hòa, nên đổi ông sang bộ Công.
Nhưng ở quân thứ vẫn luôn luôn đưa về những tin quân ta bại trận. Bất đắc dĩ, nhà vua lại phải vời Nguyễn Tri Phương vào hỏi. Ông tâu:
Võ thần như Đoàn Thọ, Nguyễn Hiên; văn như Vũ Trọng Bình, Nguyễn Hữu Điển, toàn là những người có tài cả; bây giờ muốn đổi cũng khó kiếm người như thế.
Nhà vua nói:
Bất đắc dĩ để Đào Trí, Nguyễn Bình đi, khanh nghĩ có được không?
Đào Trí thương thuyết sự lý thì thông hiểu hơn Nguyễn Hiên, nhưng am hiểu thế trận thì chưa chắc đã hơn được Nguyễn Hiên. Nguyễn Bình tuy siêng năng, nhưng đến lúc làm việc e còn thua Nguyễn Hữu Điển. Thần tuy già yếu, nhưng phận làm tôi, đánh Nam dẹp Bắc, thần không bao giờ tránh những việc khó khăn…
Thấy vua Tự Đức không muốn cho ông rời bỏ kinh đô, Nguyễn Tri Phương phải dâng kế này:
“Các tỉnh Bắc kỳ từ năm ngoái đến nay có việc luôn và quân ta đánh nhau với giặc bị bại nhiều trận. Bây giờ nếu không gắng sức đánh một trận để chúng khiếp sợ, thì bọn này vẫn còn hoành hành, lúc chia lúc hợp. Quân ta tuy được non hai vạn lính, nhưng phải chia đóng nhiều chỗ. Mỗi khi gặp quân giặc, quân ta thua chúng, vì chúng đông hơn ta. Những cuộc bại trận trước đều do sự lỡ lầm hoặc vụng tính của ta trong khi cầm quân cả.
Hiện nay, việc phòng thủ Sơn Tây và Bắc Ninh rất khẩn yếu, xin Thánh thượng truyền cho Vũ Trọng Bình, Đoàn Thọ đem binh chặn quân giặc ở Đại Từ (thuộc tỉnh Thái Nguyên) và truyền cho tỉnh thần Sơn Tây, Tuyên Quang hợp binh đánh trước ở Sơn Dương (Sơn Tây), rồi sau tiến đánh giặc Tàu ở miền thượng du.
Như thế mới hợp với lẽ hoãn cấp, tiền hậu”.
Nhà vua sai Vũ Trọng Bình ra làm Hà Ninh Tổng đốc, kiêm chức Tuyên Thái Lạng quân thứ Khâm mạng đại thần để hội với quan đề đốc tỉnh Quảng Tây là Phùng Tử Tài, đánh giặc Ngô Côn.
Quân hai nước cùng hợp sức đánh dẹp, đến tháng 5 năm Kỷ Tỵ (1869) mới khôi phục được thành Cao Bằng. Cuối năm Canh Ngọ (1870), Ngô Côn đem quân vây đánh Bắc Ninh, quan Tiễu phủ Ông Ích Khiêm bắn chết được Ngô Côn và phá tan quân giặc.
Ngô Côn tuy chết, nhưng còn những đồ đảng là Hoàng Sùng Anh, hiệu Cờ Vàng; Lưu Vĩnh Phúc hiệu Cờ Đen; Bàn Văn Nhị, Lương Văn Lợi, hiệu Cờ Trắng vẫn cứ quấy nhiễu ở mạn Thái Nguyên, Tuyên Quang, quan quân chống giữ muôn phần vất vả. Triều đình phái Trung quân Đoàn Thọ ra làm Tổng thống quân vụ ở Bắc kỳ.
Đoàn Thọ vừa lên tới Lạng Sơn, bị bọn giặc khách Tô Tứ, nửa đêm nổi lên vây thành, bắt giết đi. Vũ Trọng Bình trốn thoát.
Tin ấy về Huế, vua Tự Đức sai Hoàng Kế Viêm lĩnh chức Lạng - Bình - Ninh - Thái, Thống đốc quân vụ đại thần, cùng đi với quan Tán tương Tôn Thất Thuyết đi dẹp giặc đất Bắc.
Tháng tư năm sau (1871), quan Hình bộ Thượng thư Lê Tuấn được cử làm Khâm sai thị sự để cùng với Hoàng Kế Viêm lo việc đánh dẹp.
Cũng trong năm ấy, ở Quảng Yên, có tên Hoàng Tề nổi lên, liên kết với bọn Tô Tứ và giặc Tàu Ô ngoài bể, đem binh thuyền đánh phá khắp nơi. Hoàng Kế Viêm giữ vững Sơn Tây, Lê Tuấn và tỉnh thần Hải Dương đại phá giặc Tề. Về sau Hoàng Tề bị bắn chết ở huyện Thanh Lâm.
Trên mạn thượng du thì bọn Cờ Vàng, Cờ Đen vẫn hoành hành ở Tuyên Quang. Bao nhiêu thuế má ở đấy, chúng thu cả. Về sau hai đảng lại thù hằn nhau, đánh giết nhau thật dữ dội. Quân Cờ Đen của Lưu Vĩnh Phúc về hàng với triều đình. Quan ta cho Lưu giữ Lao Kay, để chống với bọn Cờ Vàng đóng ở mạn Hà Giang.
Đất Bắc kỳ cứ giặc giã mãi, quan quân đánh dẹp luôn mà cũng không yên.
Viện Cơ mật xin nhà vua cho Nguyễn Tri Phương sung chức Bắc kỳ Kinh lược đại sứ để ông lấy uy phong và khí tiết trấn tĩnh nhân tâm xứ Bắc. Vua Tự Đức không bằng lòng, nói:
“Bất cứ một việc gì cũng nhờ ông cả. Sau này, nếu không có Nguyễn Tri Phương nữa sẽ tính sao?”.
Tháng 7 năm ấy (Tự Đức thứ 22, dương lịch 1869), nhân ngày thượng thọ (70 tuổi) của ông, vua Tự Đức có ban một bài thơ chúc thọ như sau:
夀經百戰後
Thọ kinh bách chiến hậu
望重六卿中
Vọng trọng lục khanh trung.
致事休循例
Trí sự hưu tuần lệ,
分憂向匪躬
Phân ưu hướng phỉ cung.
Dịch:
Thọ sau trăm trận đánh,
Danh tột sáu quan khanh.
Trả việc đừng vin lệ
Chia lo chẳng vị mình.
Năm Tự Đức thứ 24 (1871), Nguyễn Tri Phương được gia hàm Thái tử thái bảo. Bấy giờ quan Bình Phú Tổng đốc là Thân Văn Nhiếp bị dân chỉ trích về việc lại nghị. Bộ Lại chấp đơn kiện, để hơn một tháng mới tâu. Đô sát viện đem việc này ra đàn hặc19. Nguyễn Tri Phương hiện làm Thượng thư bộ Lại. Nhà vua ngờ ông có tư vị, nên cách hàm Thái bảo, giáng ông xuống Hiệp biện đại học sĩ. Rồi nhà vua tuyên dụ:
“Khanh tuổi cao sức yếu, trẫm cũng dư biết rồi, nhưng việc nước long đong như thế này khanh có yên lòng chăng?”.
Lời nói tâm sự của vua Tự Đức khiến cho đêm ấy, ông suốt canh thâu, không nhắm mắt. Trong trí ông cứ vơ vẩn diễn đi diễn lại cái cảnh điêu tàn của nước nhà, chẳng chóng thì chầy sẽ bị sa vào vòng nô lệ.
Tuổi già sức yếu, lại thêm quá nghĩ ngợi, nên đến năm Tự Đức thứ 25 (1872), ông nhuốm bệnh nặng và xin lui về quê quán thuốc thang, tĩnh dưỡng.
Đến khi lành mạnh, vào chầu, Nguyễn Tri Phương được nhà vua an ủi:
“Trong nước có được một vị lão thần như khanh là may mắn lắm. Những việc tầm thường, khanh nên giao cho các bộ thần làm thay cho khanh. Khanh nên vì quốc gia mà thận trọng tấm thân. Khanh chẳng nên khó nhọc quá sức, gây thêm một mối lo cho xã tắc”.
---❊ ❖ ❊---
Ba bốn năm liền, xứ Bắc kỳ lâm vào cảnh giặc giã, binh lực hao mòn tài nguyên khánh kiệt, vua Tự Đức ngày đêm lo lắng.
Nhà vua biết phi20 Nguyễn Tri Phương, không còn ai bình định nổi Bắc hà. Ông liền được lĩnh chức Bắc kỳ Khâm mạng Tuyên sát đổng sức đại thần. Nhân việc cử ông đi, nhà vua hạ dụ:
“Khanh phải tĩnh trấn một chỗ mà lo việc lớn, chứ không nên mạo hiểm, đem mình hiến cho tên đạn ở chiến trường. Hiện nay các bậc kỳ cựu trong nước chỉ còn một mình khanh. Đình thần thường xin cử khanh, nhưng lòng trẫm chẳng nỡ. Bây giờ Bắc kỳ bối rối đã lâu, không có khanh, e không dẹp nổi giặc. Trẫm bất đắc dĩ mới sai khanh đi”.
Nguyễn Tri Phương phụng mệnh lên đường.
Đầu năm Tự Đức thứ 26 (1873), giặc Tàu là bọn Bạch Quế Hương cướp phá huyện Hàm An, thuộc tỉnh Tuyên Quang. Dân Thổ ở mạn ngược khiếp sợ, chạy về tỉnh lỵ nương trú. Ông liền sai quân mang gạo, thóc cấp phát cho và truyền quân ta chia đường áp đánh bọn giặc. Quân giặc chống cự không nổi, đành tháo lui.
Quân phiến loạn lại nhóm lên, bổ vây đồn Phong Nẫm (Tuyên Quang). Phó đề đốc Trần Mâu, vì quân ít, thế cô, nhân ban đêm bỏ thành trốn về, xin quân cứu viện. Nguyễn Tri Phương vì việc này, can vào tội “thống suất bất nghi”, bèn bị giáng tam cấp.