选项E，特殊情况下，由付款方向收款方开具发票：（1）收购单位和扣缴义务人支付个人款项时；（2）国家税务总局认为其他需要由付款方向收款方开具发票的。

纳税人在首次申请领用发票时，办理的主要涉税事项包括发票票种核定（选项A）、增值税专用发票（增值税税控系统）最高开票限额审批（选项B）、增值税税控系统专用设备初始发行（选项C）、发票领用（选项D）等涉税事项。选项E，属于后续申领发票办理的涉税事项。

选项C，纳税信用评价非经常性指标包括纳税评估税务审计、反避税调查信息和税务稽查指标。

一般纳税人有以下行为之一，经税务机关责令限期改正而仍未改正的，不得领用、开具增值税专用发票：

（1）虚开增值税专用发票；（选项A）

（2）私自印制增值税专用发票；

（3）向税务机关以外的单位和个人买取增值税专用发票；（选项B）

（4）借用他人增值税专用发票；（选项C）

（5）未按规定开具增值税专用发票；

（6）未按规定保管增值税专用发票和专用设备；（选项D）

（7）未按规定申请办理防伪税控系统变更发行；

（8）未按规定接受税务机关检查。

综上所述，选项A、B、C、D属于不得领用开具增值税专用发票情形，当选。选项E不属于不得领用、开具增值税专用发票情形，不当选。