公司未经核准登记就开始经营有什么责任

公司未经核准登记就开始经营有行政责任。
根据《中华人民共和国企业法人登记管理条例施行细则》第六十条规定，未经核准登记擅自开业从事经营活动的，责令终止经营活动，没收非法所得，处以非法所得额3倍以下的罚款，但最高不超过3万元，没有非法所得的，处以1万元以下的罚款。