除按照规定不需要发给税务机关登记证件的外，纳税人办理下列事项时，必须持税务登记证件：

（1）开立银行账户；（选项A）

（2）领用发票。（选项C）

综上所述，选项A、C属于必须持税务登记证件的情形，当选。选项B、D、E不属于必须持税务登记证件的情形，不当选。

选项A，纳税人必须严格按照《增值税专用发票使用规定》保管使用专用发票，根据《中华人民共和国发票管理办法》第三十六条，丢失发票或者擅自损毁发票的，由税务机关责令改正，可以处以1万元以下的罚款；情节严重的，处1万元以上3万元以下的罚款；有违法所得的予以没收。