Các sách sử ghi chép ông bẩm sinh đã là người không có bộ phận sinh dục (Theo Đại Nam liệt truyện), có nơi ghi là không có tinh hoàn (Theo Kể chuyện các thái giám trong lịch sử Việt Nam). Theo thuật ngữ hiện đại thì có thể ông là người Liên giới tính (Intersex) – Người có bộ phận sinh dục không điển hình là nam hay nữ. Ông được mô tả trong nhật ký hành trình của Crawfurd – thương nhân người Anh đến Sài gòn khoảng năm 1822, là; cằm không có râu, giọng nói yếu ớt, tuy chat tai như đàn bà nhưng chưa tới mức khiến người ta phải nghi ngờ [là hoạn quan], đồng thời cũng nhận xét Gia Định dưới quyền điều hành của ông là một vùng đất trù phú, dân chúng hân hoan vui vẻ và yêu mến Tổng trấn của mình.
Sinh khoảng năm 1763 – 1764, mất năm 1832. Ông là người thái giám thứ 3 trong lịch sử Việt Nam nổi danh với những chiến công trận mạc, đóng góp cho triều đình lúc sinh thời, đồng thời khi ông giữ chức vụ Tổng Trấn Gia Định – có vẻ tựa tựa như Chủ tịch ủy ban nhân dân thành phố bây giờ – thì cũng được nhiều sử gia đánh giá là có công lao trong ngoại giao với nước láng giềng, người phương Tây.
Cái oan mà ông gánh chịu lại xảy ra sau khi ông mất khoảng 3 năm. Lê Văn Khôi – một trong những người con nuôi của ông làm phản và lấy tên ông để chống lưng. Vua Minh Mạng xử Lê Văn Khôi tội chết, và dù Lê Văn Duyệt đã mồ xanh cỏ, nhưng lại bị mang danh chứa chấp và bội nghịch đối với vua. Vua Minh Mạng muốn trừ hậu họa về sau nên đã xử trảm tất cả con nuôi của Lê Văn Duyệt, phần mộ của ông bị Vua san bằng và đóng xiềng, gắn lên một tấm bia “Quyền yêm Lê Văn Duyệt phục pháp xứ” (Nghĩa là: Đây là nơi tên hoạn quan lộng quyền Lê Văn Duyệt chịu phạt). Đến tận gần 100 năm sau, đời vua Thiệu Trị (khoảng năm 1849) thì ông mới được rửa án oan, phục chức và xây lại mộ phần cho nhân dân thờ cúng.
Nhắc đến nỗi oan của ông, ngoài cái oan phản nghịch, còn thêm cái oan nữa mà lịch sử vẫn chưa gột sạch, là nỗi oan “lộng quyền thái giám”. Từ sau sự kiện Lê Văn Khôi, vua Minh Mạng đặc biệt cảnh giác quyền lực của các thái giám trong cung. Vua Minh Mạng cho khắc bia đá nhắc nhở các thế hệ quan lại về sau chỉ được sử dụng thái giám để sai vặt trong cung, cấm cho tham gia việc triều chính.