Прийти к шапочному разбору - это не опоздать. Опоздать - это прийти, когда шапки разобраны.