Chùa Nam Sơn tọa lạc trên một ngọn núi thấp phía sau núi An Hoạch (núi Nhồi), nay thuộc tỉnh Thanh Hóa. Chùa cách trung tâm thành phố Thanh Hóa khoảng 4 km, từ đây có thể nhìn về phía đỉnh Vọng Phu. Hiện kiến trúc chùa không còn, chỉ lưu lại một số hiện vật đá cổ; khu vực núi An Hoạch còn nhiều chùa, miếu và hang động gắn với dấu tích lịch sử của vùng đất xứ Thanh.