三井家の系譜は古く、家伝によると平安時代の関白太政大臣・藤原道長の後裔とあるが史実による確証はない。道長の6男・長家から5代目の藤原右馬之助信生が平安末期の1100年頃、京都を離れ、近江に移り住んだとき、藤原姓を捨て、初めて三井姓を名乗った。

「三井」という姓については、信生が琵琶湖の領地を視察中、三つの井戸を見つけ、そこに財宝があったため、これを祝して三井姓に改めたと伝えられている。

三井右馬之助信生は近江に地方官として赴任・土着し、武士となったが、信生から12代目の三井出羽守乗定は男子に恵まれなかった。当時、三井家は源氏の流れを汲む守護大名・六角佐々木氏に仕えており、そこから養子を迎え、その養子は三井備中守高久と名乗り、家紋を佐々木氏と同じ「四つ目結」とした。また、高久以降、三井一族の当主は名前に「高」の字を付けるようになった。

高久は琵琶湖の東にある鯰江に居城を構えたが、高久から5代目・三井越後守高安の時代に天下統一を目指す織田信長が、上洛のため近江に攻め入り、六角氏の諸城を次々攻め落とし、六角氏は滅ぼされた。

主家を失った三井一族は近江から伊勢の地に逃れ、その後、三井一族は津、松阪などを流浪し、最後に松阪の近くの松ケ島を安住の地とし、高安はその地で没したとされている。この高安が三井グループの祖・三井高利の祖父であり、「三井家の遠祖」と呼ばれる。

松阪は、高安が伊勢に逃れてから20年後の天正16年（1588）に、戦国大名の蒲生氏郷が開いた町である。氏郷の父、蒲生賢秀も高安と同じく六角氏の家臣であった。しかし、六角氏が信長に敗れたとき、賢秀は信長の家来になって生き延びる道を選択した。信長の死後、氏郷は秀吉に仕え、松ヶ島12万石を封じられると、伊勢に城を築き、その地を「松阪」とした。町の命名の由来については、幼名が鶴千代の氏郷は鶴と松が大好きで、松ヶ島の「松」に秀吉の町の大阪から「阪」の一字を取って松阪にしたといわれる。

その後、高安の子・三井則兵衛高俊は武士を捨て町人となり、松阪で質屋や酒・味噌の商いを始める。この店は高俊の父・高安の官位が越後守だったことから「越後殿の酒屋」と呼ばれる。これが後に高利の「越後屋」の屋号の起源であり、「三井越後屋」から「三越」の名称が誕生する。

高俊には妻・殊法との間に4男4女があり、元和8年（1622）、8番目に生まれた末子が「三井家の家祖」となる三井高利である。

武士の子である高俊は商いに関心が薄く、家業は実質的に殊法が取り仕切っていた。伊勢の大商家の娘であった殊法は三井の商売の祖とされるほど商才に富んだ女性で、信仰心が厚く、倹約家でもあり、優れた商人・母である殊法の姿は高利にも大きな影響を与えた。

この母の血を受け継いだ息子達はいずれも商魂たくましく育った。長男・俊次は早くから江戸へ出て本町4丁目に小間物屋を開店。後に呉服業も手掛けるようになり、同じく江戸へ下った3男・重俊とともに店を繁盛させた。

そして、寛永12年（1635）、高利は殊法から渡された10両分の松阪木綿を手に、江戸へ旅立つ。このとき高利は14歳。高利が江戸に「越後屋」を開くのはこれより38年後のことである。