دائما يردد في نفسه ما لم يخفه عن أحبابه : من طلب الجنة سارع إلى الطاعات ، ومن أشفق من النار ، رجع عن المحرمات ، ومن زهد في الدنيا هانت عليه مصائبها. وتأبى نفسه الكريمة إلا أن تلتحف بأديم الأرض وتؤثر خبزا غير مأدوم ، متحففة من زاد الدنيا ضاربة بها عرض الحائط لا تلوي على شيء فيها ، متزودة للآخرة متأهبة للرحيل ، منتظرة لقاء الحق أية لحظة ، لأن جوار الكريم ضالة منشودة ، ونهاية محمودة ينشرح لها صدور المؤمنين المتقين. كان أحب الأسماء إليه أبو تراب الذي أسماه إياه رسول الله صلىاللهعليهوسلم.
وقد أبى أن ينزل قصر الإمارة بالكوفة وهو أمير ، ثم آثر عليه الأرض الخلاء العراء البراح وقال : قصر الخبال لا أنزله أبدا.
ليس هذا فحسب إنما يلتذ من خشن الملبس ، قائلا في نفسه : إن الزهد يصرف عنه ، ويساعده على الخشوع في الصلاة. إن الذي يركن إلى الدنيا مثله كمثل من يركن إلى جدار متصدع منهار ، قال تعالى في كتابه الكريم : (وَالْعاقِبَةُ لِلتَّقْوى وَالْعاقِبَةُ لِلْمُتَّقِينَ).
والترف واللهو مطمع النفوس الدنيئة التي ترغب العاجلة ، ولا تلقي بالا للآجلة ، هذا هو عين الضيق الفكري والعقلي معا.
وقال الدكتور أبو الوفاء الغنيمي التفتازاني المصري في «المدخل إلى التصوف» (ص ٥٣ ط دار الثقافة بالقاهرة) :
وكان علي مثلا بارزا في الزهد والتقشف والدعوة إليهما ، فقال لعمر بن الخطاب : إذا أردت أن تلقى صاحبك ، فارقع قميصك ، واخصف نعلك ، وقصر أملك ، وكل دون الشبع.
وقد قال عنه ابن عيينة : إنه كان أزهد الصحابة ، وشهد له الإمام الشافعي بأنه كان عظيما في الزهد.