국방부는 1948년 7월 17일 정부조직법에 의해 설치되었지만, 실제로 국방부장관 취임식은 정부수립 다음날인 8월 16일 조선경비대사령부 영내에서 거행되었다. 또한 이날 통위부 건물에서 국방부 업무에 대한 인수인계식이 있었는데, 인계하는 쪽은 통위부장 유동열과 통위부 참모총장 이형근 육군 대령이었고, 인계를 받는 쪽은 국방부 장관으로 취임한 이범석 장군, 국방부 차관 최용덕 장군, 국군참모총장으로 취임하게 된 채병덕 육군 대령이었다. 국방부 창설은 1948년 8월 31일 이루어졌고, 미군으로부터 조선경비대에 대한 지휘권 인수도 9월 1일 이루어졌다. 그리고 그 해 9월 5일 조선경비대와 해안경비대가 각각 대한민국 육군과 해군으로 편입되면서 국군도 정식으로 발족되었다. 국군관계법령에 대한 제정은 이러한 조치가 이루어진 뒤에 나왔다. 즉, 1948년 국군조직법과 국방부직제령, 그리고 1949년 병역법이 그것이다.

건국 직후 국방부 청사
1948년 7월 17일 대한민국 헌법이 제정되고, 이날 정부조직법(政府組織法)이 법률 제1호로 공포됨에 따라 국방부가 대한민국 정부기구로서 정식 발족되었다. 정부조직법은 총 6장 19조로 이루어졌다. 정부조직법에 나타난 행정부서는 국방부를 비롯하여 총 11개 부(部)로, 국방부에 대한 설치는 제3장(행정각부) 제14조 제3항에 명시되어 있다. 국방부장관에 대해서는 제3장 제17조에, “국방부장관은 육 · 해 · 공군의 군정을 장악한다”라고 규정하였다.
1948년 8월 15일 대한민국 정부가 수립되고, 같은 해 11월 30일 국군조직법(國軍組織法)이 법률 제9호로 제정되었다. 국군조직법은 총 6장 23개조로, 그 편성은 제1장 총칙, 제2장 국방부, 제3장 육군, 제4장 해군, 제5장 군인의 신분, 제6장 기타 편으로 이루어졌다. 그 후 개정된 국군조직법에서는 공군이 추가됨에 따라 총 7장 23개조로 이루어졌고, 제1장 총칙, 제2장 국방부, 제3장 육군, 제4장 해군, 제5장 공군, 제6장 군인의 신분, 제7장 기타로 나누어졌다. 국군조직법에 따라 조선경비대는 대한민국 육군으로, 조선해안경비대는 대한민국 해군으로 각각 발족하게 되었다.

건국 직후 국방부 청사: 현 외환은행(중구 을지로 2가 181번지)이 위치한 지역에 있던 당시 국방부 청사인데, 서쪽을 국방부가 동쪽을 육군본부가 사용하였다.
1948년 12월 7일 정부는 대통령령 제37호로 국방부직제령(國防部職制令)을 공포하고, 국방부본부, 육군본부, 해군본부의 직제(職制)를 규정하였다. 국방부직제령은 총 34조로 이루어져 있으며, 국방부직제령에 의하면, 국방부에는 국방부본부 · 육군본부 · 해군본부 · 연합참모회의(連合參謀會議)를 두고, 국방부본부에는 비서실, 제1․2․3․4국 및 항공국을 두었다. 육군본부에는 인사국, 정보국, 작전교육국, 군수국, 호군국 및 11개 감실을 두며, 해군본부에는 인사교육국, 작전국, 경리국, 함정국, 호군국 및 5개 감실을 두었다.
정부 수립 이후 창설된 해병대와 육군으로부터 독립된 공군에 대한 법적 근거도 대통령령으로 공포되었다. 해병대는 1949년 5월 5일 대통령령 제88호로 공포된 해병대령(海兵隊令)에 따라 창설되었다. 공군은 1949년 10월 1일 대통령령 제254호로 공포된 공군본부직제령(空軍本部職制令)에 따라 창설되었고, 공군본부에는 인사국, 정보국, 작전국, 군수국 및 3개 감실(監室)을 두도록 규정하였다.
정부는 국군조직법과 국방부직제령으로써 국군 건설의 법적 근거를 마련한데 이어, 1949년 7월 15일 국회 제11차 본회의에서 통과된 병역법(兵役法)이 법률 제41호로 1949년 8월 6일 공포됨에 따라 국민 개병 병역의무제를 확립하였다. 병역법에 의하면, 대한민국 남자는 만 20세에서 만 40세까지 병역 의무를 지게 되었다. 병역은 상비병역(현역 및 예비역), 호국병역(護國兵役), 국민병역(제1 및 제2국민병역) 등으로 구분되었고, 상비병역의 복무연한은 현역은 육군이 2년, 해군이 3년이고, 예비역은 육군이 6년, 해군이 5년으로 규정되었다. 다음은 병역구분 현황을 나타내고 있다.

병역 구분
또 병역법에 의하면, 징집은 매년 9월 1일을 기준으로 다음해 8월 31일까지를 징집연도로 정하여 실시하고, 징집연도에 만 20세에 달한 남자는 징병검사 결과에 따라 실역(實役) 적합 판정을 받은 자는 순서에 따라 징집되었다. 소집은 호국병, 예비병, 후비병, 보충병 또는 국민병은 전시, 사변, 기타 필요시에 동원하도록 규정되었다.