Από την μικρή του ηλικία διδάχθηκε την πίστη και την αρετή από τον Επίσκοπο της γενέτειράς του Ιάκωβο (309 – 364 μ.Χ.), ο οποίος και τον χειροτόνησε διάκονο, αλλά ο Όσιος αρνήθηκε να λάβει μεγαλύτερο αξίωμα. Ακολούθησε πολύ νωρίς τον μοναχικό βίο και με το φωτισμό του Παρακλήτου έγραψε πάρα πολλά συγγράμματα πνευματικής και ηθικής οικοδομής.
Γι’ αυτό και θαυμάζεται για το πλήθος και το κάλλος των έργων του. Γνώστης ακριβής όλων των δογματικών θεμάτων, ήξερε να καταπολεμά τις αιρέσεις και να υπερασπίζει με θαυμάσια σαφήνεια την Ορθοδοξία.
Ήταν εκείνος που κατατρόπωσε σε διάλογο τον αιρετικό Απολλινάριο και οδήγησε πολλούς αιρετικούς να επιστρέψουν στην πατρώα ευσέβεια.
Όταν, διά της συνθήκης του έτους 363 μ.Χ., που υπέγραψε ο διάδοχος του Ιουλιανού του Παραβάτου, Ιοβιανός (363 – 364 μ.Χ.), η Νίσιβης παραδόθηκε στους Πέρσες, ο Όσιος Εφραίμ εγκατέλειψε την πατρίδα του και ήλθε στην Έδεσσα, όπου ασκήτεψε σε παρακείμενο όρος. Το έτος 370 μ.Χ. επισκέφθηκε τον Μέγα Βασίλειο στην Καισάρεια της Καππαδοκίας και λίγο αργότερα τους Πατέρες και Ασκητές της Αιγύπτου.
Ο Όσιος Εφραίμ κοιμήθηκε με ειρήνη το έτος 373 μ.Χ. και η Σύναξή του ετελείτο στο Μαρτύριο της Αγίας Ακυλίνας, στην περιοχή Φιλοξένου, κοντά στην αγορά.
Τιμάται η μνήμη του από την Εκκλησία μας στις 28 Ιανουαρίου