屋島山の南嶺・北嶺の中間を櫓ケ丘と称し、その西側の山腹に古城址がある。

この古城址は朝鮮式の築城法によるもので、その構造は屋島の南嶺と北嶺との間の西側の渓谷をとりいれ、長さは南東より北東にかけて約３キロメ−トル、広さは最広部で約０．５キロメ−トル、周囲約７．８キロメ−トルにわたる大規模の山城である。

この城は斎明天皇の御代に征韓の戦いに敗れ、辺海において事を構えることが多く、度々出兵することがあったので、天智天皇６年（６６７）冬１１月、屋島と備前児島間の備讃水路は軍事上作戦の要路としての重要性をもち、関門は西国九州への入口であると同時に、屋島付近は四国山陽の要路であったことにより、屋島に城を築いて唐の侵入に備えた。

日本書記に曰く、

「天智天皇六年十一月築大和国高安城讃岐国山田郡屋島城対馬金田城是讃岐国ニ於ケル城壘ノ初メ也」