ومما يحكى أيضا عن الخلاف بين أبي ذر ومعاوية، أنه حين بنى معاوية قصر الخضراء في دمشق قال له أبو ذر: «إن كانت هذه الدار من مال لله فهي الخيانة وإن كانت من مالك فهو الإسراف»، مما أدى به إلى عزله عن الناس، وتهديد كل من يتصل به أو يستمع إليه.
وحين قدم أبو ذر الغفاري إلى الخليفة من الشام، لم يتردد عثمان في أن يلحق به عقاب النفي إلى الربذة، وهو مكان موحش ومقفر، حتى لا يجد من الناس من «يفسده» ويوغر صدره على بني أمية. ويروي شارح نهج البلاغة:
«فكتب عثمان إلى معاوية أن احمل جندبا إليَّ على أغلظ مركب وأوعره. فوجه به مع من سار به الليل والنهار، وحمله على شارف ليس عليها إلا قتب، حتى قدم به المدينة، وقد سقط لحم فخذيه من الجهد. فلم قدم بعث إليه عثمان: اِلحق بأي أرض شئت.
قال: بمكة؟
قال: لا
قال: بيت المقدس؟
قال: لا
قال: بأحد المصرين؟
قال: لا. ولكني مسيّرك إلى ربذة.
فسيره إليها فلم يزل بها حتى مات».
وإذا كانت بعض الإخباريين والرواة يصر على رسم شخصية متطرفة ومتزمتة لأبي ذر الغفاري، وأنه حاول فرض منهجه على الناس ولم يطقه الناس، فإن هناك تنفي أن عثمان سيره إلى الربدة، ومن ذلك ما رواه البخاري في صحيحه عن زيد بن وهب، قال: «مررت بالربَذَة فإذا أنا بأبي ذر رضي لله عنه، فقلت له: ما أنزلك منزلك هذا؟ قال: كنت بالشام، فاختلفت أنا ومعاوية في:(و الذين يكنزون الذهب و الفضة و لاينفقون في سبيل لله فبشرهم بعذاب أليم). قال معاوية: نزلت في أهل الكتاب، فقلت: نزلت فينا وفيهم، فكان بيني وبينه في ذاك، وكتب إلى عثمان رضي لله عنه يشكوني، فكتب إلي عثمان: أن اقدم المدينة فقدمتها، فكثر علي الناس حتى كأنهم لم يروني قبل ذلك، فذكرت ذاك لعثمان «فقال لي: إن شئت تنحيت، فكنت قريبا، «فذاك الذي أنزلني هذا المنزل، ولو أمروا علي حبشيا لسمعت وأطعت».
وقال الحافظ ابن حجر في شرح هذا الحديث: «وإنما سأله زيد بن وهب عن ذلك لأن مبغضي عثمان كانوا يشنعون عليه أنه نفى أبا ذر وقد بيّن أبو ذر أن نزوله في ذلك المكان كان باختياره. نعم؛ أمره عثمان بالتنحي عن المدينة لدفع المفسدة التي خافها على غيره من مذهبه المذكور فاختار الرّبذة، وقد كان يغدو إليها في زمن النبي صلى لله عليه و سلم».
وقال ابن سعد في طبقاته: «أخبرنا يزيد بن هارون قال: أخبرنا هشام بن حسّان عن محمّد بن سيرين أنّ رسول لله صَلَّى لله عليه وسلم، قال لأبي ذرّ: إذا بلغ البِنَاءُ سَلْعًا فاخرج منها، ونحا بيده نحو الشام، ولا أرى أمراءك يَدَعونَك!» قال: يا رسول لله أفلا أقاتل مَن يحول بيني وبين أمرك؟ قال: « لا»، قال فما تأمرني؟ قال: «اسْمَعْ واطِعْ ولو لعبدٍ حَبَشيّ. قال: فلمّا كان ذلك خرج إلى الشام فكتب معاوية إلى عثمان: إنّ أبا ذرّ قد أفسد الناس بالشام، فبعث إليه عثمان فقدم عليه، ثمّ بعثوا أهله من بعده فوجدوا عنده كيسًا أو شيئًا فظنّوا أنّها دراهم، فقالوا: ما شاء لله! فإذا هي فلوس. فلمّا قدمَ المدينةَ قال له عثمان: كُنْ عندي تغدو عليك وتروح اللّقاح، قال: لا حاجة لي في دنياكم، ثمّ قال: ائْذَنْ لي حتى أخرج إلى الرّبَذَة، فأذن له فخرج إلى الرّبذة وقد أقيمت الصلاةُ وعليها عبدٌ لعثمان حبشيّ فتأخّر فقال أبو ذرّ: تَقَدّمْ فصلّ فقد أُمِرْتُ أن أسْمَعَ وأطيعَ ولو لعبدٍ حَبشيّ فأنت عبد حبشيّ».
وقال ابن العربي المعافري تعليقاً على هذه القصّة: «وأما نفيُه أبا ذرّ إلى الرَّبذة فلم يفعل، كان أبو ذر زاهدا، وكان يقرّع عمال عثمان، ويتلو عليهم {وَالَّذِينَ يَكْنِزُونَ الذَّهَبَ وَالْفِضَّةَ وَلَا يُنْفِقُونَهَا فِي سَبِيلِ اللَّهِ فَبَشِّرْهُمْ بِعَذَابٍ أَلِيمٍ}، ويراهم يتسعون في المراكب والملابس حين وجدوا، فينكر ذلك عليهم، ويريد تفريق جميع ذلك من بين أيديهم، وهو غير لازم. قال ابن عمر وغيره من الصحابة: إن ما أديت زكاته فليس بكنز  فوقع بين أبي ذر ومعاوية كلام بالشام  فخرج إلى المدينة، فاجتمع إليه الناس، فجعل يسلك تلك الطرق، فقال له عثمان: لو اعتزلتَ. معناه: إنك على مذهب لا يصلح لمخالطة الناس، فإن للخلطة شروطاً وللعزلة مثلها  ومن كان على طريقة أبي ذرّ فحاله يقتضي أن ينفرد بنفسه، أو يخالط ويسلِّم لكل أحد حاله مما ليس بحرام في الشريعة، فخرج إلى الرّبذة زاهداً فاضلا، وترك جلة فضلاء، وكل على خير وبركة وفضل، وحال أبي ذر أفضل، ولا تمكن لجميع الخلق، فلو كانوا عليها لهلكوا فسبحان مرتب المنازل»..
ومهما يكن، فإن الصراع بين أبي ذر الغفاري وبني أمية الذي وصل إلى حد تكفيرهم (بشر الكافرين بعذاب أليم) ارتبط أساسا بإغداق عثمان على المقرّبين منه. فقد روى الرواة أنّ طلحة بن عبيد الله قد ترك من العين ألفي ألف درهم، ومائتي ألف دينار إلى جانب الدور والضيعات، وترك الزبير بن العوام خمسين ألف دينار، وألف جارية، وألف فرس عدا الدور، وقد تزعما في موقعه الجمل مقاومة أنصار علي بن أبي طالب الذي كان ينتمي إليه أبو ذر، ويقول الرواة : لما مات زيد بن ثابت (ولاه عثمان الديوان وبيت المال) خلف من الذهب والفضة ما كان يكسر بالفؤوس.
أما بنو أمية، فقد رأوا في أبي ذر الغفاري فتَّانا وجب نفيه وإبعاده عن الناس ما دام يحاول فرض نموذجه عليهم، ووإنغالهم وتأجيج سخطهم على الخليفة وولاته. فهم يعتبرون أنه يفتن عليهم، ومن ذلك ما رواه ابن أبي الحديد في شرح نهج البلاغة عن الواقدي، أن عثمان لما استقدم أبا ذر من عند معاوية، قال له: «أن الذي فعلت وفعلت!؟
فقال أبو ذر: نصحتك فاستغششتني، ونصحتُ صاحبك فاستغشني!
قال عثمان: كذبتَ، ولكنك تريد الفتنة وتحبها. قد أنغلت الشام علينا».