大昔、今日の泥亀町から釜利谷東一帯は大きな入江でした。
この入江と平潟湾とは、今日の瀬戸橋の位置にあたる狭い水路状の海峡でつながっていました。
そしてこの小さな海峡は、潮の干満の度に内海の海水が渦を巻いて出入りする「せと」でした。
古代の人は水流の険しい「せと」を罪穢れを流し去ってしまう神聖なところであるとして、豊な幸を
もたらしてくれる神々をここに祭りました。これが瀬戸神社の起源です。
主神の大山祇命は伊予国（愛媛県）大三島の大山祇神社、伊豆国（静岡県）三島大社の祭神と
同神で、港の神、海上渡航の神、交易の神として古来より信仰され、交通安全・旅行安全・商売繁盛の
守護神として知られています。
境内に横たはる「蛇混柏」は延宝八年（一六八〇）の大風で倒れて以来、今日まで朽ちずに残って
ゐるもので、江戸名所図絵には既に倒れた状態で描かれてゐます。
平潟湾に突き出たところ、弁天島に境内神社の琵琶嶋神社があります。 祭神は市杵嶋姫命です。
通称は弁天様とよばれ、音楽・技芸の神です。