Что будет, если к судье обращаться не «Ваша честь», а по имени отчеству

Наверняка каждый из нас, услышав выражение «Ваша честь», сразу поймет, к кому именно оно обращено. Именно так принято называть судей. Откуда же пошло такое обращение и что влечет за собой неисполнение правила?