Đền Vua Lê dựng trên gò Long (tức gò rồng), một gò đất cao phía Bắc thành Na Lữ. Trong thành có 4 gò đất nổi lên được đặt tương ứng với 4 tên: Long, Ly, Quy, Phượng. Theo truyền thuyết và những tư liệu lịch sử ghi lại, Đền Vua Lê vốn là cung điện trong thành Na Lữ. Thành do Cao Biền xây dựng. Đến thế kỷ XI, Nùng Tồn Phúc (cha của Nùng Trí Cao), thủ lĩnh châu Quảng Nguyên tiếp tục xây dựng. Thời Lý Thái Tông niên hiệu Thông Thụy, năm thứ 6, tức năm 1039,