วัดเขาถ้ำกรวย ต.เขาแร้ง อ.เมือง จ.ราชบุรี ตั้งเมื่อ พ.ศ.2416 เดิมชาวบ้านเรียกว่า วัดเขาถ้ำ ในสมัยก่อน บริเวณที่แห่งนี้เป็นที่ราบติดเชิงเขา มีต้นไม้ใหญ่น้อยปกคลุมมากมาย มีถ้ำอยู่ 3 ถ้ำ ใช้เป็นที่บำเพ็ญภาวนา ทำสังฆกรรม และพิธีทางศาสนา ในสมัยสงครามเก้าทัพ ราชบุรีเป็นเมืองตั้งรับข้าศึก สถานที่แห่งนี้เป็นที่ตั้งของกองทัพไทยในสมัยนั้น ในสมัยกรุงธนบุรี สถานที่แห่งนี้ ก็เป็นที่หลบซ่อนข้าศึก เพราะเป็นสถานที่ใกล้เคียงกับบ้านโคกกระต่าย ซึ่งเป็นที่ตั้งของกองทัพพระเจ้าตากสินมหาราช และสถานที่แห่งนี้ ยังเป็นสถานที่อยู่ในเขตกองทัพพม่าเดินทัพอีกด้วย โดยมีหลักฐานทางประวัติศาสตร์ คือ ศาลเจ้าหมื่นมาลา กับม้าศึก ศิลาศักดิ์สิทธิ์

เมื่อสมัยสมเด็จพุฒาจารย์ (โต) พรหมรังสี ท่านได้ธุดงค์ผ่านมาบริเวณนี้ ได้พำนักอาศัยภายในถ้ำเป็นเวลานานพอควร และหลังจากที่ท่านได้ออกธุดงค์ต่อ มี หลวงปู่เกลี้ยง กิตติวิโร ได้ดูแลสถานที่แห่งนี้ จนกระทั่งได้มีหลวงรัตนพิทักษ์ ได้ริเริ่มสร้างวัด ซึ่งตรงกับรัชสมัยของรัชกาลที่ 5 เพราะเห็นว่าสถาที่แห่งนี้มีความสำคัญทางประวัติศาสตร์ ประกอบกับภูมิประเทศเหมาะสม สวยงาม เงียบสงบ จึงได้รวบรวมชาวบ้านช่วยกันสร้างวัดขึ้นมา

ในปี พ.ศ.2474 สมัยหลวงปู่เพี้ยน พลวุฒโฒ เป็นเจ้าอาวาส ท่านเป็นพระนักพัฒนา และจนวัดเขาถ้ำกรวยมีความเจริญสูงสุด มีการสอนหนังสือให้ชาวบ้านด้วย และหลังจากนั้น ละแวกวัดได้เกิดโรคระบาด ทำให้ชาวบ้านเสียชีวิตเป็นจำนวนมาก รวมถึงพระเณรต่างมรณภาพไปมาก ทำให้วัดถูกปล่อยทิ้งร้าง จนถึง มีพ.ศ.2533 พระอธิการจรัญ พลญาโณ ได้เข้ามาปกครองวัดนี้ และท่านได้พัฒนา บูรณะวัดให้เจริญขึ้นตามลำดับ