Когда физики говорят о Вселенной, они, конечно, имеют в виду наблюдаемую Вселенную. И в данном случае слово "наблюдаемый" связано не с наблюдателем, оптические возможности которого серьезно ограничены, а со скоростью света. И соответственно, наблюдаемая Вселенная имеет физические границы, обусловленные скоростью света.