กาลอดีต เมื่อประมาณ 120 ปี มีคนมาจาก "บ้านกุดลาด" อำเภอเมือง จังหวัดอุบลราชธานี มาตั้งบ้านเรือนอยู่ที่ บ้านหาดทรายมูล จำนวน 4-5 ครัวเรือน ได้ก่อตั้งบ้านเรือนขึ้น และตั้งชื่อว่า "บ้านทรายมูล" คำว่า "บ้านทรายมูล" มีที่มาจากที่บ้านทรายมูลมีหาดทรายที่เกิดจากการตกตะกอนของทราย ที่ไหลผ่านแม่น้ำมูลอยู่กลางลำน้ำแม่มูล จึงได้ตั้งชื่อว่า "หาดทรายมูล" ซึ่งเป็นที่มาของบ้านทรายมูล และตำบลทรายมูล จนปัจจุบัน

องค์การบริหารส่วนตำบลทรายมูล เป็นองค์การบริหารส่วนตำบล 1 ใน 13 องค์การบริหารส่วนตำบล ของ อำเภอพิบูลมังสาหาร ได้รับการยกฐานะจากสภาตำบล เป็น องค์การบริหารส่วนตำบล ตามประกาศกระทรวงมหาดไทย มีผลบังคับใช้ เมื่อวันที่ 16 ธันวาคม 2539 องค์การบริหารส่วนตำบลทรายมูล เป็นองค์การบริหารส่วนตำบลขนาดกลาง ขึ้นอยู่กับ อำเภอพิบูลมังสาหาร อยู่ทางทิศตะวันออกเฉียงเหนือ ของอำเภอพิบูลมังสาหาร ห่างจากอำเภอพิบูลมังสาหาร ประมาณ 10 กิโลเมตร บนถนนพิบูล-โขงเจียม (ทางหลวงแผ่นดินหมายเลข 2222) อยู่ห่างจากจังหวัดอุบลราชธานีประมาณ 55 กิโลเมตร โดยมีที่ตั้ง ที่ทำการองค์การบริหารส่วนตำบลทรายมูล อยู่ที่ บ้านคอนสาย หมู่ที่ 6 ตำบลทรายมูล อำเภอพิบูลมังสาหาร จังหวัดอุบลราชธานี