明治43年（1910）10月、第10代三井総領家当主・三井八郎右衞門高棟が團琢磨と共に欧米諸国に視察旅行した時、文化・文物と共に欧米諸国の名家が賓客接待用施設、迎賓館を備えていることに、高棟は強い感銘を受けました。そして日本における三井家でも迎賓館の必要性を強く感じたのが、倶楽部建設の理由だといわれています。

帰国した高棟は、迎賓館を建設するため、用地探しを始めました。しかし建設に必要な広大な用地は、なかなか見つかりません。最終的には、視察旅行に一緒に行った團琢磨が居住したいと思っていた三田綱町の土地を譲り受け、イギリス人ジョサイア・コンダー（コンデル、コンドルとも表記）設計による「綱町三井別館」（当時の名称）の建設が始まりました。

綱町の「綱」という名称は、清和天皇から５代目・源頼光の家来、渡辺綱（わたなべのつな）が産湯をつかった井戸があったと言い伝えられたことから、由来しています。　現在の三井倶楽部周辺の土地は、江戸時代の島津藩の支藩である砂土原藩の藩邸があったと伝えられています。その後、三井物産顧問を経て、ハワイ王代理大使になったロバート・アーウィンが公使館を建て、最後に團琢磨が居住用に予定していました。

当時、日本では皇室も含め、賓客接待用の迎賓館を所有する家は殆どありませんでした。三井家も明治27年に東京・有楽町に設置した「有楽町三井集会所」を持つだけでしたが、この集会所は通常の日常的な集まりにも使用されており、本格的な迎賓館としては「綱町三井別館」が日本で最初と言っても過言ではありません。現在、三井グループをはじめ多くの人々が利用している「綱町三井倶楽部」の成り立ちは、三井家の賓客接待所だったのです。

館全体は、車寄せをはじめ主客溜まり（小サロン）、客溜まり（大サロン）、中食堂、小食堂（事務室）、小小食堂（パントリー）、喫煙室（中サロン）、婦人客室、男性客図書室（談話室）、老人客室（日本間）、舞踏室など、２３の部屋から構成されています。

建物自体は、煉瓦石混造ストレート葺き、地階つき２階建て、延べ面積は2，876平方メートル（900坪）、ルネサンス様式を基調としています。外装はタイルを用いて、庭園側の１、２階アーケード・ベランダの中央部が曲面状に張り出しているバロック的な構成となっています。建築様式では、談話室前のバルコニーのアーチはルネサンス様式、中央ドームの吹き抜け天井はステンレス・グラスをはめ込んだビザンチン様式、１、２階ホールのホール階段の吹き抜け部分、庭園側のバルコニーの曲線部はバロック様式となっています。この他に、漆塗り格子天井と霞文金銀箔の壁紙などを使った日本間などがあります。また庭園は洋式庭園と和風庭園の２種類があるそうです。

建物が完成した大正５年以来、迎賓館として数々の名品をそろえています。英国の画家ターナーの風景画をはじめ、ヴィクトリア女王の少女時代の肖像画「ケント公夫人、ケンブリッジ公、ヴィクトリア女皇幼年の時代」（ローレンス作）など国内外の名画、ロダン、バリーなどの彫刻、置物、掛物など世界的な価値のある名品が所蔵され、置かれています。

主な用途は、月曜会加盟各社の賓客接待所として、各社の友好、親睦促進を利用目的としています。また、倶楽部には、昭和天皇をはじめ、吉田茂、鳩山一郎、岸信介、池田勇人、佐藤栄作、田中角栄など歴代総理、海外の元首クラスなど数え切れない人がそれぞれの目的で訪れています。