วนอุทยานพนมสวาย อยู่ห่างจากตัวจังหวัดสุรินทร์ ประมาณ 22 กิโลเมตร (ถนนลาดยางสายสุรินทร์ - ปราสาท 14 กิโลเมตร และถนนผิวจราจรลูกรัง 8 กิโลเมตร) อยู่ในเขตพื้นที่ ตำบลนาบัว อำเภอเมือง จังหวัดสุรินทร์ เป็นภูเขาเตี้ยๆ มียอดเขาอยู่ 3 ยอดที่ 1 มีชื่อว่ายอดเขาหญิง(พนมสรัย) ทางวัดได้จัดสร้างพระพุทธรูปองค์ขนาดกลางประดิษฐานบนยอดเขา ยอดที่ 2 มีชื่อว่ายอดเขาชาย(พนมเปราะ) เป็นที่ประดิษฐานพระพุทธสุรินทรมงคล ยอดที่ 3 มีชื่อว่าเขาคอก(พนมกรอล) มีศาลาอัฐมุขสร้างเป็นอนุสรณ์ฉลองครบรอบ 200 ปี แห่งการสถาปนากรุงรัตนโกสินทร์ เพื่อประดิษฐานพระพุทธบาทจำลอง และยังมีสถูปบรรจุอัฐิหลวงปู่ดุลย์ ซึ่งเป็นพระเถระสายวิปัสนากรรมฐาน ที่มีชื่อเสียง และเป็นที่เคารพนับถือของชาวสุรินทร์    

     บรรพบุรษชาวสุรินทร์ถือว่า วนอุทยานพนมสวาย เป็นสถานที่แสวงบุญ โดยการเดินทางไปขึ้นยอดเขาในวันขึ้น 1 ค่ำเดือน 5 ของทุกปี ซึ่งเป็นวันหยุดตามประเพณีของชาวสุรินทร์มาแต่โบราณ มีการทำบุญตักบาตร และไปนมัสการพระพุทธบาทจำลอง สักการะสถูปหลวงปู่ดุลย์ อตุโล พระพุทธสุรินทรมงคล(นามพระราชทาน) และยังเป็นที่พักผ่อนหย่อนใจอีกแห่งหนึ่งของจังหวัดสุรินทร์