这种说法已经侵害劳动者的人身自由,按照《劳动法》的有关规定,劳动者在休息时间,有权自由的安排娱乐等活动,有权决定自己去哪,并且有权自主分配自己的休息时间,用人单位不能干涉。本案中,公司说“晚上不能离开宿舍,否则要罚款”的做法侵害了劳动者自由分配休息时间的权利,并且公司也没有罚款的权利,如果出现这种情况,劳动者可以向劳动监察部门予以举报。