明治43年(1910)10月、第10代三井総領家当主・三井八郎右衞門高棟が
團琢磨と共に欧米諸国に視察旅行した時、文化・文物と共に欧米諸国の名家が賓客接待用施設、迎賓館を備えていることに、高棟は強い感銘を受けました。そして日本における三井家でも迎賓館の必要性を強く感じたのが、倶楽部建設の理由だといわれています。
帰国した高棟は、迎賓館を建設するため、用地探しを始めました。しかし建設に必要な広大な用地は、なかなか見つかりません。最終的には、視察旅行に一緒に行った
團琢磨が居住したいと思っていた三田綱町の土地を譲り受け、イギリス人ジョサイア・コンダー(コンデル、コンドルとも表記)設計による「
綱町三井別館」(当時の名称)の建設が始まりました。