玉川観音は漁師が海中から網で引き上げた観音像をまつったのが始まりとか、仲哀天皇がこの沖合いを船で航行中、急に起こった風波を海中から龍に乗って現れた観音さまに鎮めてもらったので、この洞窟に観音像をまつったなど、いろいろな伝説が伝えられている。