军队是国家用以实现自己意志的重要手段，发挥着攘外安内的作用。但如果管理的不好，导致军队中腐败现象丛生，官欺兵，兵害民，这不仅会使战斗力大为降低，还会给百姓带来很大的危害。在传统时代，军队中的上下级关系十分森严，士兵如同军官的奴仆，又缺乏制度性的监督机制，各级军官很容易走向腐败，他们自己肆意剥削、凌辱下属，也放任下属侵掠、骚扰百姓，弄得鸡犬不宁，人心痛恨。元末的情况，就是如此。军官们不以战事为务，只知贪图享受，沉湎酒色，有人形容说，元朝军官是“以飞觞为飞炮，酒令为军令，肉阵为军阵，讴歌为凯歌”。出征的部队，遇敌即败，对待百姓却凶恶无比，“所经之处，鸡犬一空，财货俱尽”。起兵反元的割据群雄们，军纪比元军也好不了多少，朱元璋曾追忆说：“过去我在军中，见当时群雄，都纵令部下夺人妻女，掠人财物”。对于这类事情，朱元璋看在眼中，恨在心上，所以当他自己成为军队首领后，便特别强调要“严号令以戢贪暴”，坚持不懈地整顿军队纪律，所以朱元璋能不断壮大势力，最后成为开国之君。
建国之后，朱元璋并没因天下太平了，就放松对军队的管理。与战争年代相比，他对军纪问题更加关心。朱元璋认为，军官们“捐躯相从，百战以定天下”，都是为朝廷流过血汗的人，他不愿他们轻易毁了前程，丢了性命，因而一有机会，就对军队们进行劝诫教育，要求他们勤俭节约，奉公守法，安享俸禄。洪武三年（1370年）六月，任命张温为陕西行都督府佥事，朱元璋诫谕说：“为将之道，有功而不炫耀，则功劳更显著，恃功而骄恣，则名声就会败坏。古来仁智兼全的将帅，能够始终保持功名，万古不朽，而骄悍恣横的人，在事业成功后，容易变得放纵恣肆，以致败亡。古语说：高而不危，满而不溢。又说：功盖天下，守之以谦。你能以此为戒，就可以长保富贵了。”不久，他又召见武臣，劝他们闲暇时多亲近儒生，让儒生讲解历代名将“成功立业之后，事君有道，持身有礼，谦恭不矜，能保全功名者有哪些人，骄淫奢侈，暴横不法，不能保全始终者有哪些人”，以为鉴戒，择善而从。洪武四年（1371年）十一月，朱元璋听说京卫将士有在闲暇时酣饮费钱的，就把他们召来，教悔说：“勤俭为治身之本，奢侈乃丧家之源。近来听说你们沉溺于酒，不知多少钱才能买得一醉。钱财有限，欲望无度，时间长了，怎能不穷？追求奢华久了，就很难再过俭朴的生活，这不是保家之道。自今以后你们要量人为出，裁省妄费。宁可使钱财有富裕，不要使钱财不足。”
与对待文官相比，朱元璋对待武臣确实要耐心得多，苦口婆心，反复教育。但各级军队好像并未把他的教悔放在心上，作奸犯科者众多，以致他无奈地说：“似此等愚下之徒，我这般年纪了，说的口干了，气不相接，也说他不醒。”洪武二十一年（1388年）七月，朱元璋将亲自撰写的《大诰武臣》颁发给武官，每家一本，要求武官本人和家庭成员都要认真阅读。朱元璋知道武官们的文化程度都比较低，为了充分发挥该书的教化和警戒作用，朱元璋不用“吏员话”、“秀才文”，而用当时通行的白话“直直地说着”，试图让“大的小的都要知道，贤的愚的都要省得”。《大诰武臣》集中体现了朱元璋“严号令以戢贪暴”的治军思想，充分显示了他清除军队中腐败现象的决心和力度。
部队中常出现的腐败现象主要是军官们克扣粮饷，科敛钱财。朱元璋自己“曾做军来，与军同受苦来”，对士兵生活的艰难他非常了解，他指出：“士兵一个月只能关领一石粮食，如果丈夫不在家，由妇女去关领，仓官还做手脚少给她几升，雇人送回家也要花几升，真正到手的，也不过七八斗米。一家大小要吃饭，要穿衣，哪有闲钱给人。军官们自己领了许多俸禄，又去向士兵科敛钱财，买酒买肉吃，这简直就像喝士兵的血一样，一点仁心也没有。”对于科害士兵的行为，一经发现，朱元璋即予严惩。大卫前卫百户李隆、镇南卫百户赵忠、叙南卫指挥夏晟、宁海卫千户张麟等十余名军官分别向士兵科敛钱物数十贯至数百贯，事发后都被发到边远地区充军。襄阳卫千户孙齐、镇南卫百户周原德等十二名军官曾克扣士兵的口粮、食盐、赏钱等，事发后，也都被发到边远地区充军。
由于等级森严，有些军官不把士兵当人看，残酷虐待，对于这种行为，朱元璋更是绝不轻饶。平阳宁御千户彭友文和谢成残虐成性，彭友文带着五百名士兵出外筑城，两个月不发饷，士兵有的也带着些盘缠的，还可将就过活，家穷无盘缠的，只得忍饥做工，竟然饿死一百名，谢成留守在家，也谎称没有印信，不管给士兵家属粮食，让他们忍饥挨饿，朱元璋得知后，下令将谢成斩首，又令彭友文与一百多名士兵对枪，被这些士兵乱枪戳死。青州卫千户孙旺逼令一名士兵自缢身死，其他士兵想赴京申诉，被孙旺派人拦截回去，捏造罪名，将4名士兵凌迟处死，其余的都发去云南，事情败露后，朱元璋下令将孙旺凌迟处死。豹韬卫百户王德甫、府军前卫百户王斌、羽林左卫百户阚秋、镇海卫百户侯保、天策卫千户陈安、锦衣卫百户万成，都因小事将士兵打死，朱元璋将这几名军官处以死刑，“都叫偿命了”。
还有的军官冒支粮饷及其他物品，中饱私囊，受到处理。府军右卫千户朱德、府军前卫千户许寿、龙骧卫千户戴楫等十四名军官在领军人做冬衣用的绢布时，通同库官作弊，共支绢布二千五百九十匹。朱元璋斥责说：“这些绢都是老百姓交纳上来的，百姓们费了许多艰难，才织成一匹，运到京城仓库，又费了许多艰难，如何竟敢自家使用浪费了。”下令把这些人派往前线，戴罪出征。陈州指挥胡琏等六名军官、颍州指挥陈胜等十九名军官，在十余年的时间里，先后冒支官粮达三十八万石。这些人虽然都曾立有军功，但朱元璋念及他们冒支的粮食“都是百姓们血汗里种出来的，他却妄费用了”，下令都发到云南充军。
驻守各地的军官，凡有不守法度、生事害民者，朱元璋都加以严惩。杭州右卫指挥陈祥，率军出海追捕倭寇，与令史魏克铭商量，借验发出海许可证为名，拦截渔船，敲诈勒索，共收取钱钞一千零二十一贯，士兵五蛮子想去都司告发，陈祥又派人拦回，事发后陈祥被发到云南金齿充军。广西都指挥耿良与布政司、府、州、县官交结，胡作非为，百般科敛，百姓无法生活下去，聚众起义，朱元璋将耿良“取回他来打杀了”。青州卫百户王圮带兵驻守蒙阴县，骚扰百姓，他把棉花发放给百姓，每二十斤让交二十四匹布，又把黄蜡、香油等物强卖给里长、甲首，还听从奸妇教唆，将蒙阴县官抓起来拷打，强迫县官招认有害民事实。朱元璋得知后，下令将王记诛杀。
在朱元璋的大力整顿下，明初军队中虽仍存在着不少弊端，但与元朝及洪武以来相比，纪律则要严明多了，部队也一直保持着较强的战斗力。
