隋朝为了加强中央集权统治，在全国范围内改州、郡、县三级行政建置为郡、县两级，除此之外，还对生活在内蒙古中西部地区的突厥、回纥等族实施羁縻治理。隋朝在内蒙古中西部地区共设立9个郡县，自西向东依次是：张掖郡、灵武郡、五原郡、盐川郡、朔方郡、榆林郡、定襄郡、马邑郡、雁门郡。其中，定襄郡，郡治大利县（今和林格尔县土城子古城），所辖含今呼和浩特市区、土默特左旗、和林格尔县、乌兰察布市西南部分地区；榆林郡，郡治榆林县（今准格尔旗十二连城古城），所辖含今鄂尔多斯市准格尔旗、呼和浩特市托克托县等地；马邑郡，郡治善阳县（今山西省朔州市），所辖含今清水河县、乌兰察布市凉城县、丰镇市、集宁区等地。

前文已述，“定襄郡，高帝置”（《汉书·地理志》），汉高祖十一年（公元前196年），云中郡分为两部分，云中县以西为新云中郡，属汉；以东为定襄郡，属代国。西汉时期定襄郡郡治在成乐县（今和林格尔县盛乐古城），辖成乐等12县，辖地相当于今卓资县、和林格尔县、清水河县等地；东汉时期定襄郡郡治在善无县，位于今山西境内，辖桐过等5县。此后，定襄郡因政权更迭频繁，弃置不定。及至隋开皇五年（585年）在原盛乐城设云中总管府，隋开皇十九年（599年）突厥启民可汗率众归附，隋王朝将启民可汗及所属突厥民众安置在呼和浩特平原上游牧，兴建大利城，并先后将三位宗世女大义公主、安义公主、义成公主嫁与突厥可汗。605年，复设定襄郡，郡治大利县，治所大利城，即今和林格尔县土城子古城，又称盛乐古城。古城遗址分南城、北城、中城三部分。大利城即是中城外围的高大城垣，也是唐代城垣的前身。大业三年（607年）八月，隋炀帝过云中，沿金河（今大黑河）巡游大利城，启民可汗与义成公主率各部酋长在大利城牙帐内设宴接驾。该古城也因此见于史册。

据统计，启民可汗率众归附隋朝时，共有部众约2万户，人口约10万人（《中国人口·内蒙古分册》）。驻牧呼和浩特平原后，隋朝将约6万中原人迁入内蒙古黄河流域。据《隋书·赵仲卿传》载“赵仲卿，天水陇西人也……于时塞北盛兴屯田，仲卿总统之。微有不理者，仲卿辄召主掌，挞其胸背，或解衣倒曳于荆棘中。时人谓之猛兽。事多克济，由是收获岁广，边戍无馈运之忧。”由此可见，隋朝为充实边地，进行了大规模移民戍边、屯田，促进了北方农业发展。加之，隋唐时期已结束魏晋南北朝时的气候寒冷期，进入温暖期，为农业生产向北扩展提供了必要的自然条件，更为民族交流、交往、交融奠定了基础。