左右神策军行营的衙署,武周时期原是光宅寺,名为寺庙,实为武则天豢养面首之地,全国各地搜集的俊俏少男均是剃发赐予沙陀身份后,供养在该寺。武则天死后,玄宗下令驱散庙内僧陀,屋室改为各官府衙署,随着各官府权势嬗变而几经易手,神策军得势后,一直是神策军的中枢决策机构——左、右神策军行营的衙署所在地。
该处经过北司阉党及神策军数十载经营,城墙敦厚、敌楼高耸,已经变成一个极为易守难攻的军事堡垒。以优势军力攻击尚未必可得,何况与神策军相比势单力薄的归义军势力呢?