黄河の中・下流に位置し、大部分が黄河の南側にあるため「河南」と呼ばれる。
西は伏牛山脈、北は太行山、南は大別山脈に囲まれ、東側は華北平原に続いている。
省内の河川は衛河が直接海に注ぎ、唐白河が長江の支流・漢江に注いでいる。