江戸時代以前は日比谷入江に面して漁業が盛んだったようです。江戸時代前期に埋め立てられ、老中や若年寄などの屋敷が並ぶ場所になり、「西の丸下」と呼ばれました。