永乐逐于屈烈河大败兀良哈部军，斩首无计，遭此重创后，兀良哈部众纷纷降明。
仁宣不务远略，兀良哈三卫屡屡侵扰明境，靠着大宁这块跳板，于永平、山海关间大肆掳掠，直至宣德皇帝亲率三千精兵追击，明军两翼并进，大破三卫军。兀良哈三卫军士望见黄龙旗，纷纷下马拜罪请降，皆被明军生擒，三卫这才稍收锋茫，曾一度主动向明廷请求投降归顺。
宣德末年，兀良哈三卫暗中联姻瓦剌，也先继位后，继续对兀良哈三卫实行怀柔政策，使得瓦剌与三卫关系更加密切，并诱使三卫背叛明充当瓦剌侵袭女真和明边的先锋，兀良哈三卫于是“阴为其耳目”，不断在蓟辽边境活动窥伺明边，最后因为朱祁镇的愚蠢行为，酿成了“土木之祸”。
土木之变后，明廷仍经常遣使赴兀良哈三卫诏谕、抚慰，然而三卫已先受也先意旨，数次遣使在没有约定时入贡，以窥探大明守备虚实，不久也先又逼迫朵颜卫所部迁徙他地，三卫皆不堪忍受瓦剌肆虐，遂向明朝秘密传递瓦剌情报，且请求屯驻于靠近明朝边境处，可鉴于其卑劣秉性，景泰皇帝拒绝了他们的这个请求，兀良哈三卫则又倒向鞑靼部，与其首领孛来暗中交往，充当其向导。
成化元年，兀良哈部三卫派九万兵随孛来大举入侵辽河地区，不久久兀良哈部又西附鞑靼部毛里孩，东结海西兵，多次出兵关内劫掠，虽数遭明守将击之，仍侵扰不已。
然而鞑靼别部首领那孩统兵三万，入攻大宁、金山，渡老河，攻杀三卫首领伯颜等人，掠人畜万计，三卫部众为避战乱，“相率携老弱，走匿边圉”，明边守将刘潺报告朝廷，宪宗诏令边关守将，向三卫避难部众发放刍粮，给予优抚。
但兀良哈三卫仍扰边不止，弘治初年，常盗掠古北、开元等地，不久后兀良哈三卫再遭鞑靼首领小王子的侵扰，三卫首领纷纷向明边关守将请罪，以避战祸。
因其时叛时附的恶劣本性，加上与鞑靼蒙古、瓦剌蒙古的常年叛附又交战，成为了令草原诸部与大明朝廷都头疼无比的存在。
这就是兀良哈杂碎！
反叛不定，毫无廉耻，强则盗寇，弱必卑伏！
李弘壁更愿意让“老实听话”的鞑靼部落，进驻大宁牧场！