负责执行的尚书省，下设吏、民、礼、兵、刑、工六部。每部都设有尚书，总管本部的政务。具体来说：
吏部掌管全国官吏的任免、考核、升降和调动，民部掌管全国的土地、户籍以及赋税、财政收支，礼部掌管祭祀、礼仪和对外交往，兵部掌管全国武官的选拔，兵籍、军械等，刑部掌管全国的刑律、断狱，工部掌管各种工程、工匠、水利、交通等。
杨坚创造性地设置这六部，非常了不起。因为这三省六部制分工明确，组织严密，加强了中央集权，对唐及以后历代王朝影响都十分巨大，成为了后代封建国家中央政权的固定制度。以至于从这以后，就是隋文帝建立的这一整套规模庞大、组织完备的官僚机构，一直被沿袭用到清朝的最后一个皇帝。对于这事，《剑桥中国隋唐史》有这样的一段评价：
“隋朝消灭了其前人的过时的和无效率的制度，创造了一个中央集权帝国的结构，在长期政治分裂的各地区发展了共同的文化意识，这一切同样了不起。人们在研究其后的伟大的中华帝国的结构和生活的任何方面时，不能不在各个方面看到隋朝的成就，它的成就肯定是中国历史中最引人注目的成就之一。”