除按照规定不需要发给税务机关登记证件的外，纳税人办理下列事项时，必须持税务登记证件：

（1）开立银行账户；（选项A）

（2）领用发票。（选项C）

综上所述，选项A、C属于必须持税务登记证件的情形，当选。选项B、D、E不属于必须持税务登记证件的情形，不当选。

领取加载统一社会信用代码证的企业（选项A、D）、农民专业合作社（选项B）、个体工商户及其他组织无须单独到税务机关办理税务登记，其领取的证件作为税务登记证件使用。

“多证合一”改革以外的其他组织，如事业单位（选项C）、社会组织、境外非政府组织等，应当依法和税务总局规定向税务机关办理税务登记。

选项A，纳税人必须严格按照《增值税专用发票使用规定》保管使用专用发票，根据《中华人民共和国发票管理办法》第三十六条，丢失发票或者擅自损毁发票的，由税务机关责令改正，可以处以1万元以下的罚款；情节严重的，处1万元以上3万元以下的罚款；有违法所得的予以没收。