源平盛衰記に「源氏は牟礼・高松の間宇龍が丘に陣を堅め、源平両軍の間、三十余町なり、屋島の城を見渡せば、島の巡り広海漫々として岩石雲に聳経て左右なく、源氏の軍兵渡すべきやうもなし、然に折節高松村より赤牛渡りけるを、義経見給ひ、是即八幡大菩薩の御告と深く祈念をなし、その瀬あることを知りて、二月二十日卯の刻に、源氏五十余騎屋島の城に攻め寄す」と。

今この地を赤牛崎（あかばざき）といい、小社を祀っている。一名牛塚ともいう。

すなわち、屋島の内裏を攻め込もうとした源氏軍は、数十頭の赤牛を放って屋島へ上陸する浅瀬を知り、ここを押し渡ったといわれ、「赤牛崎」の名は、これにちなんで名付けられたといわれる。

昔は黄牛崎（アメガサキ）とも言われていたようである。