首先我们要说明的一点是，大运河是隋炀帝杨广开凿的，但是提出这个构想的人却不是隋炀帝，而是他的父亲隋文帝杨坚。在隋文帝的在位期间，他就下令打通了一部分的运河。
隋朝的京城是汉长安附近的西都大兴和东都洛阳，那是隋朝的政治经济文化中心，也就是我们通常所说的关陇地区，这一地区的交通十分不便，几乎都是山路，而且水路不发达，属于内陆地区，远离大海，平常运送物资都是走的陆路。陆路所花费的时间又长，所运转的东西的数量极其有限。
公元581年，周静帝退位，禅让于外戚杨坚，隋文帝于是登上全国最高的政治舞台，开创了隋朝，并定都于长安。隋朝建立之初，事务众多，长安城内的事务更为繁重。尤其是长安城又小又旧，水污染还十分严重，于是这个迁都之事就被提上了议程。后来杨坚选了临近长安东南龙首原南面的一块秀美之地建都，史称大兴都。
以前的朝代，京城中所需要的粮食基本都是从关中运来的。关中这个地方是个盛产粮食的地方，但是即使关中之地沃野千里也抵不住战火百年的摧残，彼时的关中早已不是原来的样子，现已变得破落了。那么京城中的人吃饭问题怎么解决，就需要从关东运粮了。古代的交通本就不发达，要运送大量的粮食已经十分不易，更何况运粮途中不知还有多少凶险。这时候水路就是杨坚要考虑的唯一出路了。
可是自潼关至长安的渭水，自古以来就是一条极为难走的水路，甚至有话流传“渭水多少，流有深浅”。可见这渭水的确是古代人民难以跨越的一道大障碍。
粮食问题迫在眉睫，文帝没有办法，只能先派宇文恺在渭水之南挖道开渠，引渭水自大兴都城东至潼关三百余里，这条渠道就是有名的广通渠。广通渠建成后，从潼关西上的槽船运粮食入京就不用再涉险走渭水了，但是潼关之东的三门峡仍是槽船们的噩梦，文帝一直都想把这三门峡的问题给解决掉，但是始终都没有办法。
后来在开皇七年，隋文帝为了消灭陈国，采取了特殊的作战战略，派人在原古邗沟的基础上挖大运河的江淮段，用于运输士兵和军粮，打败陈国，完成统一。
隋炀帝杨广继位后，颁布了一条迁都的命令，新的都城建在了洛阳。在隋文帝晚期，隋朝的人口就已经猛增到了900万户之多，人口的激增带来的就是各种问题，其中一项就是曾经困扰过隋文帝的粮食问题，前都城交通不便，潼关三门峡漕运不通的难题一直没有得到解决，所以此时迁都洛阳，就可以不用为粮食的问题发愁了，在洛阳不用愁没有吃的，而且运往洛阳的路也没有三门峡那样艰险。经过种种的考虑，最后才决定迁都洛阳。
另外隋炀帝还下令开凿通济渠，就是那条南下的运河。通济渠是在鸿沟的基础上，由板渚引水至盱眙，沟通了黄河淮河两大水系，成为贯通南北之地的交通干道。当初下达修建通济渠的命令的时候，隋炀帝遭到了很多官员的反对，但是隋炀帝心意已决，执意修建，还要求工期仅五个月。都说这条通济渠是隋炀帝为了南下泡妞才建的，可是有一部分实际情况却是京中还是缺粮，隋炀帝在洛阳附近大肆修建粮仓，是为了储存从那些运来的粮食。他刚刚继位，北周时期开始，政治中心就一直集中在北方一带，南方则相对来说较为松弛，因此刚继位的杨广为了集中皇权，巩固地位，不得不选择南下，亲自控制这些不安定的势力。
杨广早期为了开拓边疆，还修建了永济渠，虽然当时的目的是方便对辽东用兵，但是修建的过程杨广一点也不马虎，他和他的父亲一样，都不仅仅是为了眼前的利益，他们要求挖渠道时尽量要宽，就是为了将来后世子孙也能享福。永济渠的成功建成，标志着这条以洛阳为中心的南北大运河就完工了。这条运河后来对政治、经济、文化、军事方面都有着不小的影响。
