1883年，这一年张之洞46岁，他已经在山西担任巡抚一年有余，这时的山西经过他的一番整治，已经被理出了一些头绪，具备了做一番事业的基础。随着张之洞对洋务的了解越来越深入，他办洋务的决心也越来越坚定，为此，在1883年5月，他设立“洋务局”，打算在山西办洋务。
办洋务最需要两方面的支持，一个是资金，另一个是人才。就当时的山西而言，资金并不是问题。山西当地的普通百姓虽然生活得艰难，但是，在普通百姓之上，还有一批富可敌国的晋商，他们当中很多人开票号，从事金融行业，手里握着大笔大笔的资金。只要张之洞能够说服晋商参与办洋务，那么资金就不是问题。山西办洋务虽然有潜在的资金优势，但是在人才方面就非常困难了。山西没有懂洋务的人，更没有可以培养洋务人才的新式学堂，要办洋务，只能从别处搜罗人才。
对于这两方面的问题，张之洞心里都有盘算。他经过分析认为，要在山西办洋务，人才是第一要紧的问题。为此，他聘请李提摩太做他的洋务顾问，负责指导山西的洋务事业。仅仅有一个李提摩太是不够的，办洋务需要一批懂技术的人。为了能够招揽人才，张之洞以山西巡抚的名义向全国发布聘请洋务人才的告示。在张之洞的告示里，他希望全国各地的洋务人才前来山西，不管是熟悉洋务的哪一方面，或是钻研精通天文、算术、历算、地理，或是通晓各国语言文字，或是熟悉沿海险要之地，或是熟悉机器的操作运行，或是根据洋法能自己制造机器，或是研究船舰大炮，或是精通开矿的理论和技术，或是能阐述新旧条约的变迁，或是能剖析中外各国法律的异同等，都将受到欢迎，官府将根据其才能给予优厚薪金。这里充分昭示了张之洞渴求洋务人才的急切心情，也表明了张之洞的确要在山西大地上大干一番洋务事业。此外，张之洞还派人去天津、上海等洋务运动较早开始的地方，购买和洋务相关的书籍，在招揽人才的同时，也尝试自己培养人才。
因为是初次办洋务，所以，张之洞并没有一开始就上大项目，他计划先从小事情做起。在设立洋务局的同时，张之洞又设立了棉桑局，发展山西当地的纺织业。他的考虑是纺织业是中国自古就有的行业，懂纺织的人相对来说比较多，而且纺织业的技术要求也比较低，操作起来更容易实现。为了能够在山西培养出一批懂得机器纺织的人才，张之洞还从江苏等地招募技工，让这些技工在山西传授技艺。
钢铁是现代工业的基础，当时的山西并没有现代钢铁业，但是，山西的手工冶铁行业却有一定的规模，还能向省外销售。可是，随着西方列强的入侵，他们的铁也进入中国。西方出口到中国的铁都是工业化生产出来的，不论是成本还是质量都比中国的手工铁有优势。很快，山西的手工冶铁业就被击垮了。张之洞调查后意识到了问题的严重性，他计划要重新振兴山西的冶铁业。
山西冶铁业的衰落，既有主观因素也有客观因素，主观因素主要是山西冶铁技术的落后，而客观因素除了洋铁的冲击外，还有清政府的种种限制。在众多因素中，清政府的限制是最直观的因素。当时的政策规定，不能以海运的方式运输中国的铁，而海运的运费远低于陆运。山西虽然不临海，但是从山西到天津出海口的距离并不远，直线距离只有500公里，而用铁最多的地区都集中在洋务比较发达的东部沿海一带，尤其是上海周边。如果不能走海运，就只能走陆运，距离长达上千公里，运费就会飙升，如此一来中国产的铁就更没有优势了。如果能够允许中国铁走海运，运费则可以减半，铁的价格自然也能降下来。
为此，1884年1月，张之洞联合李鸿章，要求朝廷废除关于铁不准海运的规定，让北方的铁能够在天津装船出海。张之洞和李鸿章的关系并不那么和谐，这次两人选择合作，可见他们在发展洋务方面还是有一些共同看法的，至少他们意识到了清政府的一些政策阻碍了洋务的发展。张之洞急于解决铁的运输问题，这也恰恰表露了他想在山西发展钢铁工业的心思。张之洞曾向他的朋友表示，国家不能依靠进口的铁维持发展，想要富强，就必须自立，而山西有大规模产铁的基础，应该在山西发展钢铁工业，以供应洋务的需要。
张之洞关于在山西发展钢铁工业的想法很快被上报给朝廷，朝廷方面在讨论过张之洞的设想之后，认为可行，打算在山西炼铁，并计划将具体事务交给张之洞负责。张之洞得知此事后，心里很激动，表示这是他非常向往的一件事，他一定会全力执行。1884年春，张之洞开始讨论开采铁矿一事，炼铁也被提上议程。
在解决了铁的海运问题、获得办铁厂的许可后，张之洞还面临着另外一个大麻烦：陆上交通。山西多山地丘陵，交通极为不便，如果不能解决陆上交通问题，即便炼出了铁也很难运到天津装船。这个问题张之洞当然清楚，所以，他为办洋务所做的另一项工作就是修路。张之洞经过勘查后认为，可以向北、向东开出两条路。向北的那条路在宋代以前就有，只是宋代以后逐渐被遗弃，张之洞就利用这条旧路的基础来修新路。他派人沿着旧路的痕迹，铲除杂草，拓宽路面，削平险阻，很快一条平坦大道就修成了。此外，张之洞还修通了从太原周边到石家庄周边的公路，这条路全长380多里，沿途穿越崇山峻岭，几乎是以开山填谷的气势来修建的。到1884年4月，这条修在深山里的路总算是竣工了。
张之洞在积极办洋务的同时，对军事也很关注。张之洞虽然是文官，没有曾国藩、李鸿章等人的从军经历，但是，他对军事的重视并不弱于曾国藩、李鸿章等人。张之洞心里很清楚，要想维护大清的统治，一支强大的军队是必不可少的，有了强大的军队，对外可以抵御列强的入侵，对内可以镇压百姓的起义。他在整顿山西吏治的时候，就有意整顿山西的军务。当时驻扎在山西的军队主要是绿营等旧式军队。1644年满清入关，当时的主力部队是以满人为主的八旗兵，但是八旗兵数量有限，无法应对全国的局势，于是清廷就在顺治年间设立了以汉人士兵为主力的绿营。清朝取得全国的统治权之后，原本骁勇善战的八旗兵成了特权阶层，过上了纸醉金迷的生活，他们在追求物质享受的同时，也失去了战斗力，八旗兵开始变得不堪一击，绿营兵逐渐成为清军的主力。可是，绿营兵经过200多年到清朝末期时，因为腐败等原因，也逐渐失去战斗力，尤其是在镇压太平天国和抵御西方入侵时，绿营兵几乎是一触即溃。不得已，清廷只能让地方大员自己编练军队，曾国藩的湘军、李鸿章的淮军就是在这种背景下组建的。张之洞对山西的绿营兵的战斗力极为不满，他就想学曾国藩、李鸿章，在山西也编练一支新式军队。
1883年，张之洞给朝廷上奏折，希望朝廷能够准许他在山西编练新军。可是，朝廷方面担心张之洞借着练新军的名义发展个人势力，没有答应张之洞。张之洞看到朝廷的回应之后，自然明白朝廷拒绝他的原因，于是他就再次给朝廷上奏折，这次他详细解释了自己办新军的目的。他告诉朝廷，山西的绿营兵已经腐败到了极点，估计全国范围内都没有比山西绿营更腐败的了，如果不在山西练新军，一旦山西有变故，绿营根本就不能用。如果朝廷允许他练新军，那么，新军除了用在山西外，还可以外调，全国其他地方凡是需要军队支援的，山西的新军都能去支援。朝廷方面看到张之洞的保证后，总算是对张之洞放心了一些，就答应了他的要求，准许张之洞练新军。
张之洞虽然想在山西大干一场，可是历史并没有给他更多的时间，因为在南方，一场大变故正在酝酿：法国人在越南蠢蠢欲动。
在唐朝以前，越南是中国领土的一部分，唐朝灭亡之后，在五代时期，越南地方脱离了中原王朝的控制，逐渐独立出去，由中国的一部分变为中国的属国。法国人对越南的侵扰始于第一次鸦片战争之后，清政府在第一次鸦片战争中的惨败让法国人看清了它的底细，于是，法国便开始了对越南的蚕食。到19世纪80年代初期，越南的大片领土已经被法国占领。清朝作为越南的宗主国，原本是有义务保护越南免遭侵犯的，可是，此时的大清国自身都是危机四伏，又哪里顾得上越南这个属国呢？
对于法国人在越南的行动，张之洞一直都在关注，他不断给朝廷上奏折希望朝廷能够重视越南的事务，提防法国人得寸进尺。然而，慈禧太后和李鸿章等人并不愿意和洋人开战，他们幻想着法国人占领越南之后就不再北进。然而，事实上法国人并不满足于占领越南，他们希望在中国狠狠捞上一笔。
当时的法国虽然也是西方强国之一，但是法国的处境很尴尬：在海上，英国拥有无可匹敌的实力，短期内，包括法国在内，没有任何国家能够撼动英国的海上霸权；在陆上，德国已经崛起，新兴的德意志帝国后来居上，力压法国，在1870—1871年的普法战争中，法国更是惨败，就连当时的法国皇帝拿破仑三世（即路易·拿破仑·波拿巴，他是拿破仑·波拿巴也就是拿破仑一世的侄子）都成了普鲁士（普鲁士完成了德国的统一，建立起了所谓的德意志第二帝国）的阶下囚，最终法国不得不向德国割让两个省，并赔款50亿法郎。法国在欧洲可谓是损失惨重，新的法国政府急需在海外赢得一场胜利，以此弥补在欧洲的损失。当时的世界除实现了工业化的列强之外，只有中国是为数不多的独立国家，也是油水最为丰厚的国家。所以，法国侵略中国不可避免。
随着法国在越南的气焰越来越嚣张，中国国内的主战呼声也越来越高，尤其是张之洞，更是主战派中非常坚定的一位，而且他还提出了许多具体措施。面对朝野上下不断高涨的主战呼声，慈禧太后也不得不转变态度，开始备战。法国以越南为跳板入侵中国，而和越南接壤的中国领土主要是在广东和广西，所以，一旦和法国开战，两广就成了前线，两广总督就要担负起重大责任。那么让谁去担任两广总督呢？于是，主战又有见地的张之洞，就成了两广总督的候选人。而此时的张之洞则在山西遇到了麻烦：他在山西的改革触动了当地的既得利益集团，而这些既得利益集团又和清朝中央政府有着千丝万缕的联系。一时间，张之洞和这些既得利益集团产生了矛盾，双方僵持不下。这两大因素的共同作用，最终促使慈禧太后将张之洞从山西调往两广地区。张之洞被调往两广时，他在山西任职的时间还不到两年半。
张之洞虽然有在山西大办洋务的设想，但由于他在山西只待了两年多一点的时间，他的努力也只在以下几个方面取得成效。
一、编练军队。洋务运动的一个重要内容就是练兵。张之洞认为，这个时期的军队要达到“强劲”，就必须学习李鸿章等洋务派用洋枪洋炮武装军队。为此，张之洞上奏清廷，指出弓箭刀矛已不合时宜，要求各军官兵都必须掌握“火器”。接着，张之洞派人赴上海购买来福前膛枪、思费尔前膛枪、马枪、双响手枪、毛瑟后膛枪、云者士得后膛枪、哈乞开思后膛枪共8000余支，格林炮12尊，来装备山西新军。
二、创办山西机器局。在购买西洋军火装备山西新军的同时，张之洞又向清廷奏准，在太原创建了山西机器局。这个机器局主要仿制生产火药，月产1000余斤，产品主要供山西新军操练之用。该机器局虽然设备简陋，规模不大，采用封建衙门式的管理，但它招募工匠，内部已具有资本主义雇佣关系，采用大机器生产，具有近代工业生产的特征。可以认为，山西机器局是山西第一个近代工厂。
三、创办令德堂。为了培养封建统治人才，张之洞在太原创办了令德堂。令德堂虽然属于旧式书院性质，不能与京师同文馆、福建船政学堂等新式学堂相提并论，但张之洞创设令德堂的目的之一就是为了“变通”，为了开风气。张之洞为学堂所聘请的教师不少都懂西方近代科学，并且主张变通。令德堂也确实培养出了一些新式人才，他们懂得现代科学知识，对中西方文化都有所了解。为了使山西大开风气，张之洞两次下令山西书局派人南下购买与洋务相关的书籍，打算用这些书籍培养新式人才。
张之洞离开山西后，他的继任者少有热心洋务的，多数都是守成持旧，只希望自己任期内山西不要出问题就好，山西的洋务事业也就暂告一段落。
