بدأت الرقابة المالية مع إشراقة عصر النهضة المباركة في عام 1970 م ممثلة في دائرة تدقيق الحسابات بالمديرية العامة للمالية وكان دورها يقتصر على تدقيق السندات قبل الصرف.
إستقلت دائرة تدقيق الحسابات عن دائرة المالية وفقاً للمرسوم السلطاني رقم 6 / 74 الصادر بتاريخ 12 فبراير 1974 م لتكون تحت مسؤولية وزارة شؤون الديوان السلطاني وانيط بها الرقابة المالية على الأجهزة الإدارية ومعالجة ما يعن لها من ملاحظات ، ثم شرعت في ابلاغ تقاريرها مع بداية عام 1975م ، كما عنيت آنذاك بتدريب موظفي الأجهزة الإدارية بهدف تحسين ادائهم .
خلال عام 1975م صدر قانون تنظيم الجهاز الإداري للدولة بالمرسوم السلطاني رقم 26 / 75 وأتبعت دائرة تدقيق الحسابات إلى وزارة شؤون البلاط السلطاني إلى أن صدر المرسوم السلطاني رقم 24 / 81 بإعتماد الهيكل التنظيمي لهذه الوزارة وتحولت الدائرة إلى مديرية عامة لتدقيق الحسابات حتى عام 1983م حيث أتبعت المديرية العامة مباشرة إلى معالي السيد وزير شؤون الديوان السلطاني بالمرسوم السلطاني رقم 65 / 83 .
صدر أول قانون يختص بتنظيم تدقيق حسابات الدولة بتاريخ 10 مارس 1985 م بالمرسوم السلطاني رقم 36 / 85 متضمناً الأهداف والاختصاصات والمسؤوليات المنوطة بالمديرية العامة ومحدداًً الجهات الخاضعة لرقابتها والتقارير الدورية والسنوية الصادرة عنها.
عدل مسمى المديرية العامة لتدقيق الحسابات اعتبارا من 3 يناير 1989 م بموجب المرسوم السلطاني رقم 81 / 89 إلى الأمانة العامة لتدقيق الحسابات ، وبتاريخ 30 ديسمبر 1991 م صدر المرسوم السلطاني رقم 129 / 91 الذي عدل مسماها لتكون الأمانة العامة للرقابة المالية للدولة متضمنا قانون الرقابة المالية للدولة ليحل محل نظام تدقيق الحسابات المشار إليه .
بتاريخ 22 نوفمبر 1999 م صدر المرسوم السلطاني رقم 95 / 99 بتعديل مسمى الأمانة العامة للرقابة المالية للدولة إلى جهاز الرقابة المالية للدولة كجهاز قائم بذاته يتمتع بالإستقلال المالي والإداري ، وتعيين معالي السيد/ عبدالله بن حمد بن سيف البوسعيدي رئيساً للجهاز ليكتمل له كل مقومات الاستقلال والحياد وما تبعه من إصدار قانون جديد للرقابة المالية بالمرسوم السلطاني 55 / 2000 وإعتماد الهيكل التنظيمي الجديد للجهاز بالمرسوم السلطاني 56 / 2000 ليطل الجهاز خلال هذه المرحلة التي إستمرت قرابة ثلاثة عقود ونصف وقد إكتملت له كل المقومات المؤهلة لمسايرة ركب الأجهزة الرقابية الدولية.
بتاريخ 2 مارس 2011 م صدر المرسوم السلطاني رقم 27 / 2011 في شأن تعديل مسمى جهاز الرقابة المالية للدولة إلى جهاز الرقابة المالية والإدارية للدولة ، وتعيين معالي الشيخ / ناصر بن هلال بن ناصر المعولي رئيسا له .
وبتاريخ 24 أكتوبر 2011 م صـدر المــرسوم السلطاني رقم 111 / 2011 بإصدار قانون الرقابة المالية والإدارية للدولة .
في العام 2014 أسند مجلس الوزراء إلى الجهاز متابعة وتنفيذ اتفاقية الأمم المتحدة لمكافحة الفساد وتولي الجهاز مهام هيئة مكافحة ومنع الفساد.
في العام 2021 صدر المرسوم السلطاني رقم 6 / 2021 بإصدار النظام الأساسي للدولة، وتم النص بموجب المادة 66 منه على أنه: "ينشأ جهاز يسمى “جهاز الرقابة المالية والإدارية للدولة” يتبع السلطان، يختص بالمتابعة المالية والإدارية لوحدات الجهاز الإداري للدولة، وغيرها من الأشخاص الاعتبارية العامة، وذلك على النحو الذي يبينه القانون. وعلى الجهاز إرسال نسخة من تقريره السنوي إلى كل من مجلس الوزراء ومجلس الدولة ومجلس الشورى.
بتاريخ 16 يونيو 2022 م صدر المرسوم السلطاني رقم 42 / 2022 بتعيين معالي الشيخ/ غصن بن هلال بن خليفة العلوي رئيسا لجهاز الرقابة المالية والإدارية للدولة. وأعقبه صدور المرسوم السلطاني رقم 73 / 2022 باعتماد الهيكل التنظيمي لجهاز الرقابة المالية والإدارية للدولة