三井の威信を示した日本橋の駿河町三井本館（旧三井本館）であったが、は、完成から20年後の大正12年（1923）に発生した関東大震災では大きな被害を受けた。建物の躯体そのものの損傷は軽微だったものの、周辺の火災により、建物は類焼。改修か、建替えか決定を迫られていた。

三井合名としては、当初改修していく方向に進んでいたといわれるが、三井合名理事長・團琢磨の決断により、改築へと一気に舵が切られた。

團は「震災からの復興に対して三井が範を示さねばならない」と述べ、また、三井合名社長の三井八郎右衛門高棟も「震災の2倍のものが来ても壊れないものを作るべし」と命じたという。

團は「技術を外国より輸入することを可とする」とし、設計から建設に至るまでアメリカの建築家や建設会社に依頼し、その合理的なシステムを導入。設計はトローブリッジ＆リヴィングストン事務所に、また施工をジェームス・スチュワート社に委託し、大正15年（1926）、新たな三井本館の建築工事が開始された。

「壮麗」「品位」「簡素」という3つのコンセプトの下、建設が進められた三井本館の最大の特徴はローマ風の威風堂々たるコリント式オーダー列柱である。階を貫いてそびえる柱はオーダーと呼ばれ、この大オーダーは建物の3面に並んでいる。南側壁面には14本もの列柱が整然と連なり、過度の華やかさを抑えたクラシカルなアメリカ新古典主義のデザインが感じられる。

三井本館は、約4年の歳月をかけて昭和4年（1929）3月に竣工した。地上7階（竣工時は5階）、地下2階の鉄筋コンクリート造り、外装は全て花崗岩による。1階の三井信託には地下1階金庫室に通じる大階段があり、三井銀行との営業場にはイタリアおよびベルギー産の大理石を使用。天井のレリーフは色づけされ、一部には金箔を施し、来客はその豪華絢爛な造りに目を見張った。

地下のモスラー社製の大金庫の扉は直径2.5m、重さ約50tで、運搬時は重量制限のため日本橋上を運ぶことを許されず、新常盤橋際まで船で運び、陸揚げしたという逸話が残る。

外壁上部には東西南三方向に4つずつ12種類のレリーフがあり、それぞれ鉱業・工業・商業・化学・建築・海運業・農業・財政・為替のほか、勤勉・公平など各業種や精神を表している。設備も当時最新のものを備えており、全館通風、タービン式温水循環の暖房設備、アンモニアガス圧搾による冷房装置などあらゆる面で近代的な業務に対応していた。

三井本館には三井合名のほか、直系各社が入居し、本社機能を集中させた。さらに1階には銀行と信託の営業室を持つという複合建築物で、文字通り三井財閥の中心となった。

荘厳な三井本館も太平洋戦争末期は金属回収令により設備金物類が供出されるなど惨憺たる姿となってゆくが、幸いにも空襲による直接の被害は受けることがなかった。頑強な造りから、周辺の避難者たちを地下に収容し、防空壕の役目を果たすこともあったという。

やがて終戦に伴い各財閥は解体。三井本館も一部をGHQに接収され、5階の三井合名社長室は外交部日本課長室となった。

占領下での受難の時期は続いたものの、昭和もやがて30年代に入ると、日本は目覚ましい勢いで復興を遂げ、三井本館もまた、本来の三井の拠点としての機能を取り戻す。そして平成10年（1998）に「意匠的に優秀」「歴史的価値が高い」との評価を受け、三井本館は国の重要文化財に指定された。複数社が使用する大規模オフィスビルの重要文化財指定は極めて珍しいものだった。

完成から80年以上、都心のビル高層化が進む中にあって、三井本館は日銀本館や東京駅とともに戦前の姿のままで今日まで残されている。