سنة ٣٠ ه‍ ، وبعد فترة نفاه عثمان إلى الربذة ، وقام فيها إلى أن مات عام ٣٢ ه‍ ، دخل عليه أبو رافع بالربذة ليودعه ، فلما أراد الانصراف قال أبو ذر له ولأناس معه : ستكون فتنة ، فاتّقوا الله ، وعليكم بالشيخ : علي بن أبي طالب فاتبعوه.

كان له ثلاثة أولاد ماتوا على حياته ، والعقب من ولده عمارة. وأمه رملة بنت الرفيعة من غفار بن مليل أيضا. ويقال : إنّه كان أخو عمرو بن عبسة لأمه ، وأسلمت أمه معه لما أسلم وأخوه أنيس. وهو أحد الأركان الأربعة له خطبة يشرح فيها الأمور بعد وفاة النبيّ (صلّى الله عليه وآله وسلّم). وكان قبل الإسلام رجلا يصيب الطريق ، وكان شجاعا يتفرد وحده بقطع الطريق ويغير على الصرم في عماية الصبح على ظهر فرسه أو على قدميه كأنّه السبع ، فيطرق الحيّ ويأخذ ما أخذ ثم إنّ الله قذف في قلبه الإسلام ، وأصبح من أكابر العلماء والزهاد والعباد والمعرفة لا يدخر شيئا ، ولم يزل من أعاظم الصحابة وكبرائهم الذين أوفوا بما عاهدوا عليه الله.

وعند ما مرض أبو ذر أوصى إلى عليّ (عليه السلام) ، فقال بعض من يعوده : لو أوصيت إلى أمير المؤمنين عثمان كان أجمل لوصيتك من عليّ ... قال : والله لقد أوصيت إلى أمير المؤمنين حق أمير المؤمنين ، والله إنّه للربيع الذي يسكن إليه ولو قد فارقكم ، لقد أنكرتم الناس وأنكرتم الأرض ، فقالوا له : يا أبا ذر إنّا لنعلم أنّ أحبهم إلى رسول الله (صلّى الله عليه وآله وسلّم) أحبهم إليك ، قال : أجل ، فقالوا له : فأيّهم أحب إليك؟ قال : هذا الشيخ المظلوم المضطهد حقه ، يعني عليّ بن أبي طالب.

ومن المشهور أنّ تشيّع أهل جبل عامل كان على يد أبي ذر ، وأنّه لما نفي إلى الشام وكان يقول في دمشق ما يقول ، أخرجه معاوية إلى قرى الشام فجعل ينشر فيها فضائل أهل البيت (عليهم السلام) ، فتشيّع أهل تلك الجبال على يده ، فلما علم معاوية بذلك أعاده إلى دمشق ثم نفي إلى المدينة ، ويؤيد هذا القول وجود مسجدين في جبل عامل يسمّى كل منهما مسجد أبو ذر ، أحدهما في ميس ، والآخر في الصرفند.