『摂州東成郡阿倍権現縁記』によれば、仁徳天皇の夢の中に熊野三山の使いである3つの足の烏が現れ、仁徳天皇がそれを捜させると同じものが当地(阿倍島:当時、島があったという。)にいたので、そこに神社を創建したといわれています。これとは別に、この地域を本拠した古代豪族の阿倍氏が建立したという説もあります。
住吉大社や四天王寺に挟まれ、熊野参詣の街道筋の王子社として存続し、後鳥羽天皇が熊野御幸をした時は4番目の九十九王子でした。しかし、後戦国時代に戦乱により多くの王子が焼失したため、安土桃山時代には2番目の王子とされ、そもそもは5番目でしたが、現在は現存している王子の中で1番目になっています。大阪府内の九十九王子社で唯一現存している神社です。