Sebelum dilantik menjadi khalifah, Umar Abdul Aziz memakai wangi wangian dari jenis yang terbaik, duduk di atas singgahsana yang megah, memakai pakaian yang mahal mahal dan mewah, menikmati makanan yang enak, menunggang kuda yang paling elok dan terbaik dan mempunyai pendapatan yang lumayan.Tetapi setelah di lantik menjadi khalifah semuanya (hartanya) di wakafkan jadi milik negara.Waktu beliau di lantik sebagai khalifah beliau berpesan “Kalau saya melakukan perbuatan yang bertentangan dengan kebenaran, tinggalkan, jangan ikut dan tetaplah dengan berpegang teguh dengan kebenaran itu saja”.
Setelah dilantik menjadi khalifah dia memanggil isterinya dan berkata bahawa dia tidak dapat lagi menjadi suami yang baik, lalu suruh pilih sama ada hendak hidup susah bersamanya atau bercerai.Isterinya memilih untuk bersusah payah bersama Khalifah Umar dan seluruh perhiasan dan intan permata yang diberi oleh ayahnya diserahkan kebaitulmal.
Isterinya menceritakan “Dia (Umar Abdul Aziz) mengingat Allah ditempat tidur.Tubuhnya gementar laksana seekor burung pipit yang kesejukan kerana takutnya kepada Allah. Bahkan kadang kadang aku (isterinya) berkata kepada diriku sendiri: Jangan jangan esok pagi, di saat semua orang mulai bangun, mereka telah kehilangan khalifah mereka.”
Isterinya juga berkata “Demi Allah dia bukanlah orang yang paling rajin melakukan solat dan puasa tetapi demi Allah, aku tidak pernah melihat orang yang lebih takut kepada Allah daripadanya.”
Langkah awal pemerintahannya, dia bertindak melantik 10 orang ulama yang soleh dan terkemuka sebagai anggota majlis penasihat.Pada mesyuarat majlis yang pertama Umar berpesan:
“Saya ajak tuan tuan berkumpul di mesyuarat ini adalah untuk melaksanakan suatu tugas yang di janjikan beroleh pahala dari Tuhan.Tuan tuan akan menjadi pembantu saya dalam menegakkan kebenaran atas nama Allah.Saya berharap seandainya tuan tuan melihat tindakkan saya nanti bertentangan dengan hukum Allah, ingatkan saya dan tunjuk ajar saya kejalan yang benar.”
Seorang ulama terkenal bernama Said bin Musaiyab sebelum ini tidak mahu menjejak kaki ke istana untuk berjumpa dengan amir atau khalifah, tetapi sebaik sahaja Umar Abdul Aziz menjadi khalifah dia datang dan selalu menghadiri majlis khalifah dan berbincang mengenai pelbagai masaalah umat.
Pada hari kedua beliau menjadi khalifah satu upacara diadakan dengan beliau di jemput menaiki kuda yang di hiasi dengan mewah.Tetapi beliau mengarahkan segala kemewahan itu di masukkan ke Baitumal dan digantikan dengan sehelai tikar yang beliau hamparkan di atas tanah dan duduk di atasnya.
Lalu Khalifah Umar berkata “Ketahuilah aku bukan seorang yang membuat keputusan,aku hanyalah orang yang melaksanakannya.Aku bukanlah orang yang membuat peraturan baru tetapi sekadar mengikuti peraturan itu dan akhu bukanlah orang yang paling baik di antara kam.Aku tidak ada bezanya dengan kamu.Cuma akulah orang yang paling berat beban dan tanggungan di antara kamu.”
Pada suatu hari dia menerima surat dari gabenornya di Khurasan yang meminta izin untuk menggunakkan kekerasan terhadap penduduk disana yang memberontak.Tetapi khalifah Umar memberi jawapan bahawa yang dapat membaiki mereka adalah leadilan dan kebenaran.
Ada orang yang menyarankan kepadanya supaya mengeluarkan sejumlah wang yang besar untuk menukar kiswah (kain menutup Kaabah).Tetapi dia berkata wang itu lebih baik diberikan kepada mereka yang sedang kelaparan.
Semasa pemerintahan khalifah yang terdahulu, sebuah gereja dirobohkan dan di gantikan dengan masjid.Semasa pemerintahan Khalifah Umar, kaum nasranai mengadu akan hal ini.Khalifah Umar segera memerintahkan masjid itu di robohkan dan di gantikan semula dengan gereja semula.Hal ini menimbulkan kontrovesi di kalangan ulama waktu itu. Mereka menemui Khalifah supaya menimbang semula keputusannya.Tetapi khalifah Umar tetap bertegas.Justeru itu ulama mengajala pendeta nasranai berbincang.Akhirnya semua bersetuju masjid dikekalkan dan diberi tapak baru untuk pembinaan gereja.Khalifah Umar amat bersyukur dan merestui keputusan itu.
Semasa khalifah Umar Abdul Aziz meninggal dunia seorang rahib kristian menangis tersedu sedu sehingga menghairankan pengikutnya.Apabila ditanya kenapa? Rahib itu bekata bahawa seorang raja yang adil telah meninggal dunia.Semasa kahlifah Umar sakit seorang rahib kristian juga datang untuk merawat dan mengubatinya.