วัดท้ายเมือง ต.พงสวาย อ.เมือง จ.ราชบุรี สร้างมาตั้งแต่ พ.ศ.2423 สันนิษฐานว่า เพราะในอดีตมีการย้ายเมืองราชบุรี จากคูบัว มาอยู่ริมแม่น้ำแม่กลอง มีการสร้างศาลหลักเมืองขึ้น หันหน้าไปทางทิศตะวันออก จะเห็นทางรถไฟ หากมองข้ามแม่น้ำแม่กลองจะเห็นวัดพระศรีรัตนมหาธาตุ (วัดมหาธาติวรวิหารปัจจุบัน) จึงทำให้ที่ตั้งของวัดอยู่ทิศตะวันตก คือด้านหลังศาลหลักเมือง ชาวบ้านจึงเรียกว่าวัดว่า วัดท้ายเมือง ส่วนวันพระศรีฯ คือวัดหน้าเมือง

ภายในวัดสิ่งศักดิ์สิทธิ์ของวัด ประดิษฐานบนวิหารพุทธรักษ์ษาวิสุทธิสมณวัตร ประกอบด้วย พระพุทธชัยมงคง เป็นพระพุทธรูปศิลาแลง ปางมารวิชัย มีอายุกว่า 400 ปี หลวงพ่อสัมฤทธิ์ หลวงพ่อพระศรีอาริย์ เป็นพระพุทธรูปที่จอมพลผิน ชุณหะวัณ สร้างถวายเมื่อประมาณปี พ.ศ.2511

ส่วนวิหารหลังเดิม เป็นอาคารเก่าแก่ เป็นอาคารไม้ ประดิษฐานสมเด็จองค์ปฐม สร้างขึ้นเมือปี 2555