一八六三年六月、横浜の外国人居留地に最初に到着した軍隊は、フランス陸軍の第一アフリカ猟兵連隊の二五〇人だった。

一八三二年に創設され、北アフリカ、モロッコの戦闘に参画した部隊である。一八五九年には、イタリア北部で勃発したイタリア統一をめぐる戦闘、ソルフェリーノの戦いに参戦している。後に赤十字を創設するアンリ・デュナンが遭遇し、戦争の惨状に心を痛めた戦争である。横浜に着任する直前、ラテンアメリカにおけるフランスとアメリカの代理戦争となったメキシコ出兵にも加わった。翌六四年の五月に海兵隊三〇〇人が着任するまで、フランス陸軍屈指の精鋭が外国人居留地を守備したことになる。それだけ、攘夷の嵐が吹き荒れる日本の治安が脅威と見なされていたのだ。

イギリス陸軍第二〇連隊分遣隊が香港から到着したのは一八六三年の年末である。翌六四年には海軍軽装歩兵五五〇人が上陸、続いて第二〇連隊の本隊が着任した。これにより、イギリス軍は総勢一二〇〇人と、フランスを上回る兵力を備えた。

両軍の駐屯地は、海岸沿いの外国人居留地の南側にある高台に設けられた。山側に位置することから「山手」と呼ばれた。

フランス軍の駐屯地は斜面にあり、「フランス山」と呼ばれた。隣接するイギリス軍の駐屯地は台地になっていて、第二〇連隊の20（Twenty） をもじって「トワンテ山」と呼ばれた。制服の色も対照的で、フランス軍は青、イギリス軍は赤だった。そのため「青シャツ」と言えばフランス軍をさし、「赤シャツ」と言えばイギリス軍をさした。

彼らは、しばしば酒場で共に酒を酌みかわし、友情が生まれることもあれば、些細なことから殴り合いの喧嘩になることもあった。若い外交官や商人たちも、そうした戯れに加わった。誰もが若く、血気盛んで、好奇心に満ちあふれていた。攘夷派のサムライは、どこに潜んでいるかわからず、闇から突如現れる鋭い切れ味の刀で命を失うかもしれない。弾薬の飛び交う数多の戦闘を生き抜いた猛者にとっても得体の知れない恐怖だった。それが彼らの気持ちをヒロイックに高ぶらせ、行動を刹那的にさせた。

酒で勢いがつけば、繰り出すところは決まっていた。

港崎遊郭である。

夜の帳がおりると、無数の赤い提灯に灯りがともされ、遊郭の建物を照らし出した。二階建てのひときわ豪壮な建物だったのが岩亀楼である。その名前を外国人は「ヤンキロー」と少しなまって発音した。「ヨシワラ」と並んで、遊郭そのものをさす言葉でもあった。表向き、外国人の登楼が許されていたのがここだけだったこともある。

二階部分には、艶めかしい深紅の欄干がめぐらされていて、奥の格子戸の中に首筋まで真っ白に化粧をした若い女郎が煙草盆を前に置きずらりと並んだ。黒髪に刺した金銀の髪飾りが、灯りに反射してゆらゆらと煌めく。白い肌に真っ赤な紅をさした女たちは人形のように動かなかった。彼女たちが人形ではないことに気づくのは、時折、煙草盆から長いキセルを取り出して、プアッーと煙を噴き上げる瞬間だけだった。