自由女神登岛后，担心回程来不及

六月初去NYC，早早就定了官网的自由女神基座票。是早上10点从jersey city出发的那一班，据说排队不用很久。
但是小红薯上说，有时候回程的船，要排两小时队？
我们是暑假一开始（六月初）的一个周六去玩，正是忙季。请问是否真得要等这么久的回程船？
关键是我们下午4点以前还要赶回Newark机场。 为了确保不错过飞机，我是不是应该放弃早上、中午的自由女神？
或者可否就坐在船上看女神、不下来？这样就直接坐同一班船回去了。其他岛一概不下。请问是否也可以这样work？
新人求建议，谢谢！