Ngay cả sau khi triều đình ký hiệp ước đầu hàng năm 1883, những người thuộc phe chủ chiến ở lại triều đình đứng đầu là Tôn Thất Thuyết vẫn không chịu ngồi yên, trong khi trên cả nước, toàn thể nhân dân cùng với các nhà nho tổ chức nhau lại để tiếp tục cuộc chiến đấu. Quan phụ chính Tôn Thất Thuyết ra lệnh xây pháo đài Tân Sở ở Quảng Trị và cho chuyển kho tàng của nhà vua đến đấy. Tháng 7 năm 1884, vua mới là Hàm Nghi đăng quang ở tuổi mười hai. Người Pháp tìm cách áp đặt một hiệp ước mới, chia nước Việt Nam thành 3 vùng: Nam Kỳ được cai trị như một thuộc địa của Pháp, Bắc Kỳ nửa thuộc địa, nửa đất bảo hộ và Trung Kỳ là đất bảo hộ. Sự thống nhất của đất nước bị tổn thương nghiêm trọng.
Trong khi đó, cuộc kháng chiến của nhân dân Bắc Kỳ vẫn tiếp diễn mạnh mẽ. Bộ chỉ huy Pháp muốn tiến công ngay vào Huế để đánh gục đầu não của phong trào, đòi thải hồi những viên đại thần chủ chiến, đặc biệt là quan phụ chính Tôn Thất Thuyết Người Pháp đòi triều đình phải giao lại cho họ các súng đại bác, giảm bớt số quân có vũ trang, buộc hội đồng cơ mật phải từ chức để thay vào đó bằng những kẻ thân Pháp.
Tháng 6 năm 1885, tướng Pháp De Courcy đổ bộ lên Huế, buộc giải tán quân đội Việt Nam. Đêm mồng 4 tháng 7, phụ chính Tôn Thất Thuyết và một vị quan là Trần Xuân Soạn tiến công các vị trí của quân Pháp. Một trận đánh đẫm máu đã diễn ra với kết cục là quân Pháp chiếm đóng thủ đô.
Nhưng trước đó, vua Hàm Nghi và triều đình đã rời Huế lên núi, xuống chiếu Cần Vương, kêu gọi cả nước ủng hộ vương triều trong cuộc chiến đấu. Lớp quan chức phe chủ chiến trở lại nắm quyền và khắp nơi trong cả nước, nhân dân cùng các nho sĩ nhiệt liệt hưởng ứng lời kêu gọi của nhà vua. Tuy nhiên, bộ phận triều thần thuộc phe chủ hòa quay trở lại Huế, đồng lõa với người Pháp và ngày 19 tháng 9 năm 1885, họ đặt lên ngôi một ông vua mới là Đồng Khánh.
Căn cứ chính của vua Hàm Nghi là vùng sơn cước thuộc các tỉnh Quảng Trị, Quảng Bình, nối liền với miền Bắc bằng một tuyến thượng đạo có thể thông cả với đất Lào. Vào đầu năm 1886, do cuộc kháng chiến của nhân dân ở Bắc Kỳ lớn mạnh, Bộ chỉ huy Pháp buộc phải tập trung quân đối phó. Lực lượng kháng chiến của Việt Nam ở Quảng Bình đã có thể lấn đất về hướng biển, dọc theo các con sông đố xuống từ dẫy Trường Sơn. Nhưng những người yêu nước Việt Nam thiếu vũ khí một cách nghiêm trọng, quân Pháp dần dần đẩy lùi họ lên các vùng núi của tỉnh Quảng Bình, nơi dân cư thưa thớt và đất đai khô cằn. Tôn Thất Thuyết lên đường sang Trung Quốc cầu viện; vua Hàm Nghi không biết dời đại bản doanh của mình lên phía Bắc, nơi có căn cứ kháng chiến rộng hơn và đông dân hơn. Người Pháp từng bước thắt chặt dần cuộc bao vây nơi ẩn náu của nhà vua. Ông bị bắt ngày mồng 1 tháng 11 năm 1888, do sự phản bội của một thủ lĩnh người Mường và bị đầy sang Angiêri.
Lời kêu gọi của vua Hàm Nghi đã động viên được những lực lượng lớn trong nhiều vùng, từ Bắc chí Nam. Tại các tỉnh phía nam Trung Kỳ, nhà yêu nước Mai Xuân Thưởng lãnh đạo phong trào cho đến ngày ông bị bắt và bị xử tử năm 1888. Trong các tỉnh Nghệ An, Hà Tĩnh, Thanh Hóa, sự chống cự diễn ra đặc biệt quyết liệt. Nói chung là những nhà nho có tiếng tăm đứng lên kêu gọi chiến đấu, mộ quân tình nguyện, tổ chức các lực lượng vũ trang gồm những trai tráng bình dân can đảm và kiên quyết.
Ở Thanh Hóa, những người yêu nước dưới sự chỉ huy của Đinh Công Tráng đã xây dựng lên pháo đài Ba Đình, hình thành một hòn đảo nhỏ thật sự ở trung tâm một vùng đầm lầy. Được ngụy trang một cách tài tình, trông từ xa Ba Đình giống như một ngôi làng bình thường; thực tế là pháo đài được bao quanh bằng những lũy cao và hào sâu, trên mặt lũy chất đầy những giỏ đựng đất để chừa những lỗ châu mai thật sự, qua đó các chiến sĩ bảo vệ pháo đài có thể giám sát và bắn vào kẻ địch tiến công. Lại thêm một lũy tre dày bao bọc thành một vành đai bảo vệ pháo đài, có những cọc vót nhọn bao quanh. Bên trong hào chi chít những chiến hào và giao thông hào. Masson, một sĩ quan Pháp tham gia cuộc tiến công, sau đó đã viết:
“ Việc trinh sát phía bên trong của Ba Đình làm cho chúng tôi phải kinh ngạc thật sự, khi thấy các công sự đã được xây dựng với một nghệ thuật như thế nào. Lương thực dồi dào, kỷ luật chặt chẽ. Có hai đội hát tuồng biểu diễn cho các chiến sĩ xem. Trên vùng núi tỉnh Thanh Hóa, một hậu cứ là Ma Cao đã được xây dựng để đề phòng trường hợp Ba Đình bị thất thủ ”.
Từ tháng 9 năm 1886 đến tháng Giêng năm 1887, nhiều cuộc tiến công của quân Pháp bị đánh bại. Bộ chỉ huy Pháp buộc phải điều đến 2500 quân với một hỏa lực pháo binh quan trọng của bốn chiếc pháo hạm. Các nhà truyền giáo huy động giáo dân Phát Diệm giúp việc tiếp tế cho quân Pháp. Trong khi thành Hà Nội được quân đội của nhà vua bảo vệ chỉ trụ nổi được một ngày trước số quân Pháp ít hơn nhiều, lực lượng kháng chiến ở Ba Đình đã chống cự suốt 35 ngày ròng rã bất chấp hỏa lực pháo binh của quân Pháp. Các sĩ quan Pháp buộc phải khâm phục tinh thần dũng cảm của những người bảo vệ Ba Đình. Masson kể lại:
“ Một tù binh bị chúng tôi đưa ra tra hỏi đã trả lời một cách điềm nhiên: Các ông chỉ uổng công vô ích hỏi những đều mà chúng tôi không muốn nói cho các ông biết bởi chúng tôi cho đó là trái với lợi ích của tổ quốc chúng tôi. Các ông muôn làm gì thì làm... Chúng tôi vừa kể ra đây một vài trong hàng trăm sự việc thuộc loại này mà chúng tôi đã chứng kiến, nhằm cung cấp một ý niệm về tính cách của người An Nam, và nếu chúng tôi mới chỉ kể tên những sự việc nói về tinh thần dũng cảm của những ông quan, thì chúng tôi có thể nói thêm rằng những người dân và những binh sĩ bình thường cũng không hề thua kém một chút nào về sự dũng cảm và coi khinh cái chết ”.
Trong vùng châu thổ sông Hồng, quân Pháp buộc phải tiến hành không ngớt những cuộc hành quân càn quét chống lại nhiều trung tâm khởi nghĩa, đặc biệt là căn cứ kháng chiến Bãi Sậy do Nguyễn Thiện Thuật chỉ huy. Tại đây, các chiến sĩ yêu nước không xây dựng đồn lũy mà thực hiện chiến thuật đánh du kích một cách chủ động, đôi khi đánh những trận lớn với sự ủng hộ của nhân dân. Bọn “cướp” không phải ai khác mà là những nông dân vùng lên chống kẻ chiếm đóng. Chúng ta hãy đọc một bức thư của viên công sứ Pháp ở tỉnh Bắc Ninh viết năm 1886:
“ Một đám đông bọn cướp vừa tiến công đồn Yên Sơn, nhờ sự đồng loã của dân làng Yên Sơn. Đã không có một ai báo tin bọn cướp đến và bọn này đã rút đi mà không lấy gì của dân”.
Khắp nơi đều thể hiện một tinh thần dũng cảm và sự khôn ngoan sáng tạo như nhau. Người Pháp và bọn tay sai buộc phải dựng lên cả một mạng lưới dày đặc, càn đi quét lại không ngớt. Năm 1889 ''vùng Bãi Sậy đã có thể được tạm thời bình định ."
Trên các vùng thượng du Bắc Kỳ, người Pháp chỉ chiếm được một số đường giao thông chính và một số vị trí chiến lược. Cả vùng hoàn toàn nằm trong tay của những thủ lĩnh địa phương, những người này liên lạc với quân khởi nghĩa ở đồng bằng, làm cho quân đội Pháp phải điêu đứng. Ở vùng Tây Bắc, phái viên của vua Hàm Nghi là Nguyễn Quang Bích chỉ huy các hoạt động quân sự cùng với những thủ lĩnh các dân tộc ít người ở bản địa. Để buộc ông ta ra hàng, người Pháp cùng bọn tay sai đã cho bắt người mẹ già của Nguyễn Quang Bích, nhưng cả hai mẹ con đều không chịu nhượng bộ chúng. Chỉ mãi đến cuối năm 1888, các toán quân của Pháp mới đến được Lào Cai, Nghĩa Lộ và Điện Biên Phủ.
Ở vùng Đông Bắc, người Pháp chỉ kiểm soát được phần nào con đường Hà Nội - Lạng Sơn; trên bờ biển, thành phố biên giới Móng Cái bị các lực lượng yêu nước giành lại năm 1885, mãi đến năm 1886, mới bị quân Pháp chiếm hẳn. Ở Việt Bắc, quân Pháp hầu như không thể ra khỏi các thành phố thái Nguyên và Tuyên Quang bị chúng chiếm đóng từ năm 1884.
Khác vời sự chống cự của quân đội triều đình, cuộc kháng chiến mang tính chất yêu nước và nhân dân hưởng ứng lời kêu gọi của vua Hàm Nghi đã gây cho quân Pháp những khó khăn vô cùng to lớn, đánh cho chúng bị thiệt hại nghiêm trọng và đã làm dấy lên ở tận nước Pháp những phản ứng mạnh mẽ trong dư luận và ở nghị viện. Đã có một số lần, dưới áp lực của dư luận, Nghị viện Pháp buộc phải giảm bớt số ngân sách dành cho công cuộc chinh phục Việt Nam tuy nhiên cánh thực dân rút cuộc đã thắng thế.
