Thuở xưa kia, có hai anh em cùng nhau dựng nhà bên bờ suối. Người anh là một vị quan Tể tướng tại triều, nhưng vì chán cảnh danh lợi phù du nên lìa bỏ chốn phồn hoa đô hội, bỏ cả hầu thiếp, ăn mặc áo vải hài gai về ẩn dật trong cảnh núi rừng, mượn gió mát trăng thanh, cầm, kỳ, thi, tửu làm bầu bạn...
Bấy lâu nương nhờ vào sự vinh hiển của người anh, nên người em mới tạm theo về hôm sớm bên anh, chứ lòng chỉ nghĩ đến lợi danh, mũ cao áo rộng nơi chốn kinh thành xa hoa tráng lệ. Người em thường tìm cách xa lánh núi rừng để trở về thành thị. Biết vậy người anh thường khuyên em:
- Càng cao danh vọng, càng giàu gian nan, chú lưu luyến cảnh lầu son gác tía, có kẻ hầu người hạ mà làm gì cho bận tâm nhọc xác, chúng ta sống thong dong trong cảnh thiên nhiên như vầy chẳng là thảnh thơi sung sướng lắm sao?
Những lời người anh nói, người em thường gác bỏ ngoài tai, lại chê anh mình gàn dở nên mới bỏ địa vị quan tể tướng tại triều, chọn cách sống mai một như cỏ cây. Ngày ngày người em tìm đủ cách hoặc tạo lấy cơ hội để tiến thân với nhà vua.
Một hôm gần bờ suối có cội cây trổ một quả, trông hình dáng xù xì như quả mít tố nữ, ngặt vì vỏ cứng và có gai lởm chởm nhọn hoắt như kim châm. Thật là một quả lạ chưa từng thấy bao giờ, mùi thơm lại thoảng đưa nồng nàn. Người em cho rằng cơ hội tiến thân của mình đã đến rồi, liền hái quả lạ ủ vào trong lá để ngày mai đem về kinh thành dâng lên cho vua thưởng thức.
Người anh hết sức khuyên lơn em không nên liều lĩnh mà chuốc họa vào thân, nơi chốn triều đình chẳng thiếu chi trái ngon, vật lạ, vua đoái hoài chi đến một quả hình dạng xấu xí. Người em vẫn không nghe, nằng nặc quyết ra đi.
Khi ấy người em xuống đến kinh thành, đem quả lạ dâng lên vua bảo là quả quý có mùi thơm tựa hương trầm. Vua liền đòi người em vào rồi truyền thị vệ lấy dao bổ quả quý ấy ra. Đến khi nhà vua đưa lên mũi ngửi bỗng ngài nhăn mặt, bịt mũi kêu thối om sòm. Các thị vệ bèn xúm lại bắt trói người em rồi đem ra chém đầu về tội khi quân.
Sau lúc chiếc đầu người em rơi rụng, quan Tư đồ vụt có ý tò mò, tìm đến nơi đã quăng trái lạ mà xem, ông thấy trái này có từng múi màu vàng, cơm của nó lầy nhầy như mỡ đặc, ngửi thấy thối mà nếm vào miệng thì ngọt ngào đầy mùi vị thơm ngon. Lập tức quan Tư đồ vào bệ kiến nhà vua trình qua tự sự. Nhà vua vẫn chưa tin, truyền đem cho mình nếm thử. Quả nhiên, nhà vua thưởng thức được các hương vị đặc biệt lạ lùng của trái quý trước giờ chưa từng thưởng thức.
Nghĩ lại, nhà vua lấy làm hối hận lỡ tay giết oan một mạng người đã vì trọng vọng mình mà đem hiến dâng của lạ. Tuy vậy việc đã lỡ rồi, không lẽ để cho triều thần nhìn thấy sự lầm lớ phiên trách mình, nên nhà vua chỉ âm thầm với một nỗi sầu riêng.
Hôm sau, nhà vua truyền cho triều thần tìm xem gốc tích của trái lạ và hiện nơi nào có nó để hái đem về. Quan quân đi lùng kiếm ở khắp nơi vẫn không biết nơi nào có trái lạ đó. Chỉ có người anh là biết, nhưng từ lúc hay tin người em bị rụng đầu vì hiến dâng trái lạ, người anh không khỏi chau mày hối tiếc, tại sao không quyết liệt ngăn cản để em mình đừng lao đầu vào chỗ chết, hổ thẹn và lòng đầy những buồn riêng, người anh âm thầm sầu khổ như thấy em hiện về trách móc, cho đến lúc mối sầu riêng làm người anh nhuốm bệnh qua đời.
Đến đời sau, một vị vua nhà Lý, nhân trẩy quân qua cánh rừng, thấy trái lạ vừa chín vàng trên cây, mùi thơm bay phảng phất mới bảo quân sĩ hái xuống nếm thử, lại được nghe một quân sĩ già kể lại câu chuyện năm xưa, nên đã đặt tên cho trái lạ là trái sầu riêng.