和泉式部が大スターたる所以は、もちろんその文学的評価によるものですが、華麗な男性遍歴もまた、彼女を有名にしました。
紫式部日記では、清少納言に先立って、和泉式部がやり玉に挙げられています。
和泉式部といふ人こそ、おもしろう書きかはしける。されど、和泉はけしからぬかたこそあれ、うちとけて文はしり書きたるに、そのかたの才ある人、はかない言葉のにほひも見え侍るめり。歌は、いとおかしきこと。ものおぼえ、歌のことわり、まことの歌よみざまにこそ侍らざれ、口にまかせたる言どもに、必ずをかしき一ふしの目にとまる詠み添え侍り。それだに、人の詠みたる歌難じことわりゐたらむは、「いでやさまで心は得じ。口にいと歌の詠まるるなめり」とぞ見えたるすぢに侍るかし。「恥づかしげの歌よみや」とはおぼえ侍らず。
（紫式部日記 消息文）
これは、ややはしたないほどに感情的な清少納言批判に比べると、文学的観点からの冷静な評価のように思われますが、それにしても、「けしからぬかた」とは一体どういうことでしょう。
和泉式部は、長徳元年（９９５年）頃に、太皇太后（昌子内親王）大進であった橘道貞と結婚し、娘（後の小式部内侍）を儲けています。しかし、道貞が和泉守に任じられた長保元年（９９９年）頃までのどこかで、冷泉院第三子の為尊親王の愛人となったとされます。
為尊親王との関係の先後関係は不明ながら、この頃、道貞との婚姻関係は破綻、道貞は和泉式部を都に残して、他の女性とともに任地和泉に赴任しました。
同じ頃、父大江雅致からも勘当されていたこと、それが彼女の男性関係の噂を理由とするものであることが、和泉式部正集２５１及び２５２のやりとりからうかがえます。
正月七日、親の勘事なりしほどに、若菜やるとて
こまごまに あふとは聞けど なきなをば いづらは今日も 人のつみける
返し、親
なきなぞと いふ人もなし 君が身に おひのみつむと 聞くぞ苦しき
わたしに対する人の噂は根も葉もないことなんです、という娘に対して、誰も根も葉もない話だと言ってる人はいないよ、おまえの悪評ばかり聞かされるのは辛い、と返す父親。
為尊親王は、長保４年（１００２年）に亡くなり、翌年、式部はその弟である帥宮敦道親王の求愛を受けることになります。
ついには、式部を、通ってくる他の男たちから隔離して独占したいという敦道親王の強い求めに応じて敦道親王邸に入り、正室の方が邸を出るという異例の展開となりました。
この間の経緯を描いたのが、「和泉式部日記」という日記文学の傑作です。
そして寛弘２年（１００５年）の葵祭り、敦道親王が同じ車に和泉式部を同乗させて見物に出てきたことが、都の話題をさらいます。
帥宮の、祭のかへさ、和泉式部の君とあひ乗らせたまて御覧ぜしさまも、いと興ありきやな。御車の口の簾を中より切らせたまひて、わが御方をば高う上げさせたまひ、式部が乗りたる方をば下ろして、衣ながう出ださせて、紅の袴に赤き色紙の物忌いとひろきつけて、地とひとしう下げられたりしかば、いかにぞ、物見よりは、それをこそ人見るめりしか。
（大鏡 太政大臣兼家）
おそらくこの頃のことかと思われる公任集での、公任、敦道親王、式部の歌のやりとりでは、式部は「道貞が妻」と表記されています。つまり、この時点においても、式部は、夫のある身でありながら、敦道親王の愛人であると認識されていたようです。
寛弘４年（１００７年）、敦道親王は、享年２７才という若さで亡くなります。
その後、和泉式部は、彰子サロンに出仕して、紫式部や伊勢大輔の同僚になりました。紫式部日記における和泉式部評は、それに続く部分で、赤染衛門を「丹波守の北の方」と呼んでいることから、寛弘７年（１０１０年）以降に書かれたものと考えられており、そうであるならば、１年程度の同僚付き合いを経た上での評価ということになりそうです。
その間、二人の間にいかなる交流があったのか、お互いの私家集からは、その関係はまったく見えません。赤染衛門、清少納言、伊勢大輔と、また、紫式部の娘大弐三位との間でも歌の贈答をおこなっている和泉式部ですが、紫式部との間にはそういった歌が残されていません。
紫式部からすれば、和泉式部は、夫のある身でありながら、奔放な愛情生活で弾正宮為尊親王や帥宮敦道親王といった若い貴人の命を縮めた道徳的批難に値する女性であり、あまりお近づきになりたくないという思いがあったのかもしれません。
彰子の父親である藤原道長も、和泉式部の男性関係の多さを揶揄っています。
ある人の、扇をとりて持たまへりけるを御覧じて、大殿、「たがぞ」と問はせたまひければ、「それが」と聞えたまひければ、取りて、「うかれめの扇」と書きつけさせたまへるかたはらに。
越えもせむ越さずもあらむ逢坂の関守ならぬ人な咎めそ （和泉式部正集２２５）
時の最高権力者である道長の「浮かれ女」との揶揄に対して、「あなたにとやかく言われる筋合いはないでしょ」という切り返しは、流石の貫禄です。それに加えて、「それとも、あなたが関守になるつもりがおありなの」というニュアンスまで匂わせるあたり、「けしからぬかた」の真骨頂とも言えそうです。
和泉式部の最後の夫は、酒呑童子や盗賊袴垂退治の武勇伝で知られる藤原保昌であり、道長の勧めによるとされています。
道長が、和泉式部の相手として、自らの家司の中でも最も勇猛な藤原保昌を選んだのは、生半可な男な男と添わせたのではトラブルの元になると考えたからでしょうか。