4月3日，第五战区司令长官李宗仁将军下达总攻命令，第52军、第85军、第75军在台儿庄附近对日军展开猛烈攻势。日军拼力争夺，占领大部分街市。国军展开街垒战，逐次反击，肃清敌人，夺回被日军占领的街市。
4日，中国空军以27架飞机对台儿庄东北、西北日军阵地进行轰炸。当晚，日军濑谷支队力战不支，炸掉不易搬动的物资，向峄县溃逃。
4月6日，李宗仁赶赴台儿庄战场，亲自指挥部队进行全线反击。4月7日凌晨1时，我军吹响了反攻的号角，以孙连仲之第2集团军为主的左翼兵团和以汤恩伯、封裔忠第20军团为主的右翼兵团在台儿庄及其附近地区大举反攻。一直处于防守状态的士兵一听说反击，神情振奋，命令一下，杀声震天。双方展开了巷战、肉搏战。一时间，台儿庄内枪林弹雨，血流成河。日军头一次遭到了国民党军队的如此顽强进攻，很快便溃不成军。台儿庄北面，枪炮声渐密，汤恩伯军团已向敌人开火。矶谷知已陷入反包围圈，开始动摇，下令部队全线撤退。此时日军已成强弩之末，弹药汽油也用完，机动车辆多被击毁，全军丧魂落魄，狼狈逃窜。李宗仁命令部队全面追击，敌兵遗尸遍野，各种辎重到处皆是，矶谷本人率残部拼命突围。
七日时，日军残部往峄城、枣庄溃逃。至此，台儿庄战役结束。
