横浜で鉄道敷設にいち早くかかわったのが、高島（たかしま）嘉右衛門（かえもん）だった。

もとは江戸の材木商だったが、佐賀藩の家老と縁があり、伊万里焼を扱う商売を持ちかけられ、開港地まもない横浜にやって来た。商売はすぐに軌道に乗ったが、日本と外国の金銀の交換比率の差に目をつけた闇取引に手を染め、投獄される。

嘉右衛門を名乗るようになったのは出獄後のことである。

横浜に戻り、再び材木商になり、異人館の建設を次々と任され、莫大な富をなした。その資金で始めた商売が旅館業だった。

関内の尾上町にあった高島屋は、威風堂々たる豪華な建築で、履物を履いたままで入館する和洋折衷の設えが目を引いた。旧幕臣の娘たちや大奥で仕えていた女中を集め、一流の礼儀作法と立ち居振る舞いで客をもてなした。商人宿しかなかった横浜で、高島屋は、たちまち政財界の大物や異人が集まる社交場として人気を博するようになる。日本人が手がけた最初の「ホテル」と言ってもさしつかえなかった。

さらに嘉右衛門には、もうひとつの武器があった。易の知識に秀でていたのである。

政財界の大物たちは、こぞって嘉右衛門に未来を占ってもらおうとした。一方の嘉右衛門も易で人相を見て、見込みのある人物には積極的に近寄った。

その見込んだ一人が、鉄道敷設を推し進めることになる伊藤博文だったのである。

嘉右衛門は、自身の所有していた神奈川の青木橋から野毛の富士見橋までの湿地を埋め立てて、鉄道敷設の用地とすることを伊藤と大隈に持ちかけた。

新橋から横浜まで、日本で最初の鉄道は、全線二九kmのうち約十km、すなわち三分の一が海上に敷設された線路だった。嘉右衛門の土地もその一部になる。

この時、埋め立てた土地が、彼の名前をとって、後に高島町と呼ばれることになる。

だが、鉄道用地となったのは、埋め立て地の一部にすぎなかった。

嘉右衛門は残りの土地も他の用途に使い、利益を上げる心づもりがあった。

まず思いついたのは農地にすることだったが、海岸沿いの潮を含んだ土壌は農地には適していなかった。そこで嘉右衛門は、遊郭を誘致することを思いつく。

唐突なようだが、開港地にとって、遊郭は重要な商売とみなされていたのである。

豚屋火事の後、吉原町に再興した遊郭を移転させる計画はあったが、候補地にあがっていたのは、中心地から離れた辺鄙な界隈だった。埋め立て地を遊郭とする許可はおりなかった。

そこで、嘉右衛門は、二大遊郭であった岩亀楼と神風楼に先に声をかけることにした。彼らが候補地に大店を構えてしまえば、既成事実になると考えたのである。

嘉右衛門から声をかけられた粂蔵が浮き足立ったのは言うまでもない。

二大遊郭とみなされたことも誇らしかったし、岩亀楼に肩を並べる大店としての名声をゆるぎないものにするまたとない機会だと心が躍った。

早速、新しく普請する店の詳細を詰めるため、粂蔵は嘉右衛門と面会する段取りをとりつけたのだった。