起初，太祖或出于亲情，或碍于情面，对赵光义势力的发展并没有放在心上，也没有引起应有的警惕，反而显得过于自信。史载，开宝初年，有一个殿前都虞侯(禁军将领)向太祖上奏，说到赵光义在晋王府肆意妄为，罗织党羽，不戢吏仆，纵法结交豪杰，希望太祖引起重视，采取适当预防措施。结果太祖不仅听不进意见，而且大发雷霆，他说：“我与弟弟晋王雍睦起国，和好相保，粗狂小人，意敢离间我们之间手足之情!”立即下令处死了上奏的将领。
倒是颇习吏事、老谋深算的赵普较早地发现了赵光义罗致心腹、广置党羽问题的严重性，他多次向宋太祖提及，应对赵光义有所警惕和警告。所以赵光义当了皇帝以后，曾说到如果赵普不被罢相，仍在中书主政的话，他就不可能当上皇帝。在赵普去世后，他又曾对大臣说他与赵普“有不足”是众所周知的事情。太祖自己通过一些事例也逐渐认识到赵光义势力的发展是统治集团内部离心的政治力量，不可等闲视之，应该有所防范。
太祖对赵光义发展自己的势力开始打击。宋太祖与赵光义之间的矛盾和斗争渗透到各个方面，以各种形式出现。据《默记》卷下记载，赵光义任开封尹时，有个青州人到京城来打财产官司，带着一个十多岁的小女子。赵光义见她长得秀美出众，想买下，那青州人没有同意。赵光义手下有个叫安习的，自告奋勇愿办成此事。他用银子将青州女子偷偷地买进开封府。不久，太祖知道了此事，下令搜捕安习。开封府只得将安习藏于晋王府邸中，直到赵光义做了皇帝，他才被放出来。史载，晋王府邸幕僚曾上奏太祖，请求动用木场一棵大木材制造器用。太祖十分恼怒，在其奏表上批示说：“破大为小，何若斩汝之头也!”实际上，太祖并不见得是不忍“暴用”木材，而是想表明他并不事事顺着赵光义，并通过此事对赵光义在晋王府邸的所作所为敲警钟。