东北沦陷后，日本企图将华北五省(冀、察、鲁、晋、绥远)、三市(北平、天津、青岛)"自治"，扶植起第二个"满洲国"，以脱离统一的南京国民政府，日军为了实现这一阴谋，企图以二十九军和冀察政务委员会为控制华北的工具。日军企图通过北平特务机关来削弱驻华北地区守卫疆土的二十九军，来配合其军事上的直接侵略，以达到武力所不能起到的作用。
日军于1935年在北平东交民巷台基厂头条胡同7号设立北平特务机关。第一任机关长是松室孝良少将。他曾在西北军中担任军事顾问，是一个"中国通"，因此他和二十九军的宋哲元、冯治安、张自忠等也很熟悉。特务机关成立后下设顾问部，分为军事、外交、经济、建设和交通等部门。
各部门都有负责人，军事部门由樱井德太郎少佐担任，外务方面是矢野征记，通信方面是长佐谷台。松室一上任，就表示了设立此机关的目的，"我们是代表国家军队驻扎在北京，担任冀察政权的指导。尽力做到对他们亲密提携，深入对方的内部吸引他们靠近日方的想法，环境恶劣时保持绝对中立。如果把冀察当做对立面，机关存在的意义就没有了，我们工作的价值也就为零了"。
北平特务机关主要有两大任务:一是刺探二十九军的军事情报，如驻军、编制和军事部署，及军队领导人的家庭生活信息；二是利用庚子赔款培养亲日派人士。1936年12月松室孝良转任北满骑兵第四旅团长，松井太久郎接任机关长，加紧对冀察政务委员会的控制。
