وقد عرضت لى حكاية عنه فيها تسليك لمن ذاته عليّة ، وتعزية لمن نفسه خسيسة ردية ، وذلك أنه كان في بداية شأنه وعنفوان شبابه محببا إلى أقرانه وإخوانه ، لا يخرجون إلى زيارة ولا يجتمعون في متنزّه إلا أخذوه معهم ، وكان قد شركه في المأذنة والرئاسة بها الشيخ عز الدين المؤذن ، لأن المدينة لم يكن فيها من يوثق به في معرفة الأوقات وتحريرها بعثوا لها من مصر ثلاثة رؤساء : أحدهم والد الشيخ جمال الدين أحمد بن خلف ، والثاني الشيخ إبراهيم والد محمد بن إبراهيم ، والثالث عز الدين المؤذن المتقدم ذكره.
فتوفي والد جمال الدين ووالد محمد بن إبراهيم رحمهماالله تعالى ، وكانا النهاية في معرفة الوقت وحسن الصوت. وبقي عز الدين فطالت مدته حتى أسن وعجز ، وكان حسن الهيئة ذا لحية طويلة ورئاسة مليحة. واتفق أنه خرج جمال الدين المطري يوما مع أصحابه فباتوا في مسجد قباء.
وقال لعز الدين : قم عني في نوبتي ، فأخلفه عز الدين فلم يقم ، وبقيت المأذنة شاغرة من الرئيس ، فلما جاء جمال الدين تكلم عليه الشيخ عزيز الدولة وأغلظ عليه.
فقال له : ما غبت حتى استنبت ولكني غرني عزّ الدين المؤذن ، فلم يقبل عذره وكثر عليه الكلام.
فقال له جمال الدين المطري : لك عندي غير هذا المأذنة ، الطلاق الثلاث يلزمه إن أذنت في هذه المأذنة حتى يموت عز الدين المؤذن ويموت الشيخ عزيز الدولة.
فتركه الشيخ وترك الكلام معه ، وصار إذا كان الوقت يؤذن على باب جبريل في الأوقات كلها وأصحابه يقتسمون عليه الجامكية. وكانت الجامكية يومئذ قليلة ، فلما طال عمر عز الدين قيل له : اعمل ما عمله غيرك من ترك الزوجة بطلقة مخالعة ، ثم ارجع إلى مأذنتك ، ثم راجع زوجتك.
فقال : لا أفعل هذا ، ولا يسمع عني ذلك ولو كان لي في المأذنة ما عسى أن يكون.