ท่านเกิดหลังพระพุทธเจ้าเสด็จปรินิพพานแล้ว ประมาณ พ.ศ. 218 ปี แต่ไม่ทราบภูมิเดิมของท่านละเอียดว่าเป็นบุตรของใคร เกิดในวรรณะอะไร และที่ไหน จากการสันนิษฐานตามตำนาน พระเถระอุปคุต น่าจะเป็นชาวเมืองปาตลีบุตร เมื่อบวชแล้วบำเพ็ญเพียร จนสำเร็จเป็นพระอรหันต์ขีณาสพ สำเร็จอภิญญาต่างๆ จนสามารถแสดงอภินิหาร เป็นที่เล่าลือมาจนทุกวันนี้ มีปฏิปทาดำเนินไปในทางสันโดษ มักน้อย นัยว่าท่านเนรมิตเรือนแก้ว (กุฏิแก้ว) ขึ้นในท้องทะเลหลวง (สะดือทะเล) แล้วก็ลงไปอยู่ประจำ ที่กุฏิแก้วตลอดเวลา เมื่อมีเหตุเภทภัยเกิดขึ้นในพระศาสนา หรือเมื่อมีพิธีกรรมใหญ่ๆ หรือมีผู้นิมนต์ ท่านก็จะขึ้นมาช่วยเหลือ ด้วยความเต็มใจเสมอ
เรื่องราวก็มีอยู่ว่า เมื่อประมาณปลายพุทธศตวรรษที่ 2 หลังพุทธปรินิพพาน ณ นครปาตลีบุตราชธานี (ปัจจุบันคือเมืองปัตนะ ภาคใต้อินเดีย) พระเจ้าอโศกมหาราช ผู้ครองราชย์สมบัติในขณะนั้น ทรงเลื่อมใสในพระพุทธศาสนาเป็นอย่างยิ่ง ตามตำนานกล่าวว่า ได้ทรงสร้างพระวิหารและพระสถูป มากมายทั่วทั้งชมพูทวีป เป็นผู้รวบรวมและขุดค้นพระบรมสารีริกธาตุ เพื่อจะนำไปบรรจุในสถูปที่พระองค์ทรงสร้างไว้ทุกแห่ง
เมื่อการบรรจุพระบรมสารีริกธาตุเสร็จเรียบร้อยแล้ว พระองค์ก็ทรงปรารภ ที่จะจัดให้มีการฉลองสมโภช พระสถูปเจดีย์ทั้งหมดนั้น เป็นการมโหฬารยิ่ง ตลอด 7 ปี 7 เดือน 7 วัน และเพื่อให้การฉลองสมโภช เป็นไปด้วยความเรียบร้อย ปราศจากอุปสรรค จึงใคร่จะอาราธนาพระสงฆ์ขีณาสพ ที่ทรงอิทธิฤทธิ์ มาเป็นผู้คุ้มครองงาน ให้ปราศจากการรบกวนจากมารร้ายต่าง ๆ
แต่พระสงฆ์ในนครปาตลีบุตร ไม่มีรูปใดที่จะสามารถ เป็นผู้คุ้มครองงานมหกรรมอันยิ่งใหญ่นี้ ให้พ้นจากภัยทั้งหลายทั้งปวงได้ โดยเฉพาะภัยจากพญาวัสสวดีมาร ผู้มีฤทธิ์ยิ่งนัก นอกเสียจากพระอุปคุตเถระผู้เดียวเท่านั้น พระสงฆ์ทั้งปวงจึงตั้งตัวแทน ๒ รูป ลงไปอาราธนาพระอุปคุตเถระผู้เรืองฤทธิ์ มาช่วยรักษาความปลอดภัย ในงานสมโภชครั้งนี้ ซึ่งกล่าวกันว่า พระอุปคุตเถระองค์นี้ มีปกติสันโดษอยู่องค์เดียว เข้าฌานสมาบัติเสวยวิมุตติสุข อยู่ในมหาสมุทรอันกว้างใหญ่ ภายในปราสาทแก้วที่เนรมิตขึ้น เหนือรัตนะบัลลังก์ จะออกจากสมาบัติ เหาะขึ้นมาบิณฑบาต ในโลกมนุษย์ ในวันพุธเพ็ญกลางเดือนเท่านั้น
และในครั้งนี้เอง พระอุปคุตเถระ ถูกพระภิกษุสองรูป ผู้ได้อภิญญาสมาบัติ ชำแรกมหาสมุทร ลงมาถึงตัวท่านแจ้งว่า ให้ท่านจงเป็นธุระ ป้องกันพญามารอย่าให้รบกวนงานฉลองพระสถูปเจดีย์ ของพระเจ้าอโศกมหาราชได้
เมื่อพระอุปคุตเถระได้รับนิมนต์ ก็เดินทางมานมัสการ และรายงานตัวต่อคณะสงฆ์ในวันรุ่งขึ้น พระเจ้าอโศกมหาราช จึงได้เสด็จเข้ามานมัสการคณะสงฆ์ เพื่อขอทราบเรื่อง ผู้จะที่จะมาทำหน้าที่รักษาการ งานฉลองสมโภชพระสถูปเจดีย์ เมื่อพระองค์ทรงทราบ ว่าผู้ที่จะมาทำหน้าที่นี้ คือพระอุปคุตเถระ ก็ทรงนึกแคลงพระทัย เนื่องจากพระอุปคุตเถระนั้น มีร่างกายผ่ายผอมดูอ่อนแอ ก็ทรงไม่แน่ใจ เกรงจะทำหน้าที่ได้ไม่สมบูรณ์ แต่ไม่ทรงตรัสว่ากระไร