فلمّا آيس منه عبد الله بن جعفر ، أمر ابنيه عوناً ومحمّداً بلزومه والمسير معه والجهاد دونه ورجع هو إلى مكّة. قال علي بن الحسين عليهما‌السلام : «خرجنا مع أبي ، فما نزل منزلاً ولا ارتحل منه إلاّ ذكر يحيى بن زكريّا». وقال يوماً : «من هوان الدّنيا على الله أنّ رأس يحيى بن زكريّا اُهدي إلى بغي من بغايا بني اسرائيل».