ตามตำนานกล่าวว่า หม่อมหลวงชีดำได้สร้างขึ้นเพื่อจะได้บรรจุอัฐิของพระมารดาและญาติ ๆ ได้ร่วมกับพี่น้องสองพระองค์ คือ เจ้าฟ้าขาวและเจ้าฟ้าเขียว โดยแบ่งกันสร้างดังนี้ หม่อมหลวงชีดำ สร้างพระนอนและวิหาร เจ้าฟ้าขาว สร้างหลวงพ่อขาวและวิหาร เจ้าฟ้าเขียว สร้างพระยืนและวิหาร วัดสามวิหาร เดิมชื่อ “วัดสามพิหาร” ต่อมาภายหลังได้เปลี่ยนชื่อเป็น “วัดสามวิหาร” เนื่องจากเดิมนั้นมีวิหาร 3 หลัง คือ 1.วิหารพระนอน ประดิษฐาน พระพุทธไสยาสน์ (พระนอน) 2.วิหารพระนั่ง ประดิษฐาน หลวงพ่อขาว 3.วิหารพระยืน
ปัจจุบันเหลือวิหารอยู่เพียง 2 วิหาร คือ วิหารพระนอน และวิหารพระนั่ง ส่วนวิหารพระยืนได้หักพังไปตามกาลเวลา และไม่มีผู้ใดสร้างทดแทน ได้รับพระราชทานวิสุงคารามเมื่อปี พ.ศ.1930
สำหรับวัดสามวิหาร เกี่ยวข้องกับกษัตริย์ 2 พระองค์ คือ สมเด็จพระเจ้าตากสินมหาราช และพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช เมื่อครั้งยังทรงพระเยาว์ได้บรรพชาเป็นสามเณรพร้อมกับเด็กชายบุนนาคและพำนักอยู่ที่วัดสามวิหาร ทั้ง 3 รูป คือ สามเณรสิน สามเณรทองด้วง และสามเณรบุนนาค จึงเป็นเพื่อสนิทกัน
พระอุโบสถที่เห็นอยู่ในปัจจุบัน ได้สร้างขึ้นมาใหม่แต่ทับลงบนพื้นที่เดิม ใบเสมาโดยรอบเป็นใบเสมาเก่าด้วยหินชนวนเนื้อละเอียดสีเทา มีขนาดใหญ่ สลักลายแต่เพียงเส้นนูนเป็นสันตรงกลางตามแนวตั้ง โดยมีลายรูปสี่เหลี่ยมขนมเปียกปูนเกลี้ยงๆ คั่นอยู่ ลักษณะของใบเสมาดังกล่าวเชื่อกันว่าน่าจะมีอายุอยู่ในสมัยอยุธยาตอนต้น
วัดสามวิหาร ตั้งอยู่ที่เลขที่ 56 หมู่ที่ 4 ตำบลหัวรอ อำเภอพระนครศรีอยุธยา จังหวัดพระนาครศรีอยุธยา กรมศิลปากร จึงได้ประกาศขึ้นทะเบียนเป็นโบราณสถานของชาติตั้งแต่ปีพุทธศักราช 2486 โดยประกาศในราชกิจจานุเบกษา เล่ม 60 ตอนที่ 59 ลงวันที่ 20 กรกฎาคม 2535













