公司一直零报税，能不能就不要财务了啊

自己报税是可以的。
小规模纳税人还没有用金税卡，换句话说，金税工程还没有普及到小规模纳税人企业，所以不用IC卡抄税、报税，可以用工行的信用卡在银行报税、或者电话报税。当然这需要预先在税务部门登记。
你如果想自己记账、自己报税，到代理记账机构把你企业的账簿、凭证、报表等会计、税务资料拿回来。USB棒（即U盘）如果是你购买提供给代理机构的，当然需要拿回来，报季度报表时需要向税务部门提供电子资料（提供U盘）。各地方情况不完全一样，小地方有的不需要报电子数据。一般纳税人每月都必须报电子数据。
我认为不设立财务是不行的。因为，你的企业是查账征收的（征收方式分为查账征收和核定征收，在你办理税务登记证时已规定了，写在税务登记审批表内。一般企业均为查账征收，只有一些个体工商户的小店面，不方便查账征收的才采用核定征收，即俗称的每月交定额税），因此你必须正确核算收入、费用、税金等。如果你不设立财务（包括代理记账），你如何知道收入多少、费用多少，哪些可以进费用，哪些不能进费用，哪些属于应税项目？
零申报不等于没有内容，只是说你企业当期税额为0。特别是年度终了后的所得税汇算，哪些能列支成本、费用，哪些有限额，哪些不能列支成本费用，哪些要从成本费用中调出、调出多少，哪些地方可以合法地充分利用（以合法地少交税），等等等等，需要具有相当的会计知识和经验。
如果你想自己记账，还必须有会计资质（会计从业资格），否则，税务部门不认可，出了问题可能会给企业带来很大的损失，就不是一点代理费能解决的了。所以建议你不要省那点代理费。这是办企业必须支付的成本。