除按照规定不需要发给税务机关登记证件的外，纳税人办理下列事项时，必须持税务登记证件：

（1）开立银行账户；（选项A）

（2）领用发票。（选项C）

综上所述，选项A、C属于必须持税务登记证件的情形，当选。选项B、D、E不属于必须持税务登记证件的情形，不当选。

选项C，增值税一般纳税人（纳税信用A级以外的纳税人）取得异常凭证，尚未申报抵扣的，暂不允许抵扣；已经申报抵扣的，一律先作进项税额转出；选项A、E，经核实，符合现行增值税进项税额抵扣相关规定的，企业可继续申报抵扣。

选项C，增值税专用发票由国务院税务主管部门确定的企业印制；其他发票，按照国务院税务主管部门的规定，由省、自治区、直辖市税务机关确定的企业印制。

选项B，对于纳税信用A级的纳税人，按需供应发票，可以一次领取不超过3个月的发票用量；纳税信用B级的纳税人可一次领取不超过2个月的发票用量；以上两类纳税人生产经营情况发生变化需要调整发票用量的，按照规定及时办理。