الخروج من المسجد قبيل الخطبة

إذا كنا جلوساً قبل صلاة الجمعة في المسجد لانتظار الخطيب، فإذا بخطيب أعرف عنه سابقاً أنه لا يجيد الخطبة ولا تعجبني خطبته، فهل لي أن أخرج إلى جامع آخر؟
لا ينبغي أن تخرج بعد الأذان ما يخرج المسلم بعد الأذان صلي والحمد لله واستمع ــ وإن رأيت خللا بعد ذلك تنصحه وتوصيه بالخير.