「横綱審議委員会」誕生のきっかけは、３横綱が途中休場するという不甲斐ない状況に対して、横綱からの格下げも議論されたことにあります。それまで免許制だった横綱の地位を、より公正な形で決定しようという方針の中で生れたのです。
相撲の神様・野見宿禰（のみのすくね）を祖先に持つ九条家は、鎌倉時代から朝廷（天皇を君主とする官僚組織を持つ政府）主催の相撲節会（皇室行事）で、相撲司（すもうのつかさ）としてこれを取り仕切っていました。
一方、もう少し遡った奈良時代には力士で行司も務めた志賀清林（しがのせいりん）という、相撲技・礼法・禁じ手などの制定に関わった人物がいたのですが、その子孫が断絶した後、志賀家の故実・伝書を吉田家次が受け継ぎます。
吉田家は京都で皇室に繋がる二条家に奉公し、相撲節会で行事官を務め、相撲の宗家として代々「追風」を号するようになります。そして、吉田司家当主として１３代目を引き継いだ吉田追風は、熊本藩主の細川氏に仕えて江戸で積極的な相撲興行を展開するようになりました。
寛政元年（1789年）１１月、１９世吉田追風は初めて「横綱」という力士最高位の称号を考案し、二代目谷風と小野川にその免許を授与します。これ以来、五条司家の相撲司としての権威は失墜していくこととなります。
文政６年（1823年）になって、五条司家では吉田司家に先駆け、柏戸利助（かしわどりすけ）と４代目玉垣額之助に横綱免許を授与するという逆襲に打って出るのですが、２力士共にこれを辞退してしまいます。
こんな五条司家の動きに危機感を抱いた吉田司家では、江戸幕府に働きかけて、文政１０年（1827年）７月になって、「江戸相撲方取締」を拝命するに至り、相撲司家としての権威を固めていきました。
このようにして代々、相撲司家としての吉田司家からの免許授与による横綱への昇進という形式だったものが、抜群の品位と力量を要求される横綱の不甲斐ない様が露呈する段になって、疑義が持たれるようになっていきます。
それは、昭和２５年（1950年）１月場所のことです。この場所は、東正横綱羽黒山（第36代）・西正横綱東富士（第40代）・東張出横綱照國（第38代）の３横綱がいたのですが、その３横綱全てが場所の途中から休場してしまいます。
東富士は、２日目に東前頭２枚目の神風に敗れ、翌日は対戦を組まれていた東前頭筆頭の出羽錦に不戦敗となり、４日目から６日目は休場、７日目から再出場するものの、６勝６敗３休で場所を終了します。
羽黒山は、４日目に東富士と同じく神風に敗れ、翌日はこれまた出羽錦に不戦敗となり、６日目から１０日目は休場、１１日目から千秋楽まで再出場するものの、６勝４敗４休と東富士同様の低レベルの成績で場所を終了してしまいます。
照國に至っては、２日目に東前頭３枚目の吉葉山に敗れ、翌日は西前頭２枚目の琴錦に勝ったものの、４日目から休場、４日目は東小結の羽嶋山に不戦敗となり、最終的には２勝２敗１１休という惨憺たる成績で場所を終わったのでした。
こんな不甲斐ない横綱たちのことが問題となり、相撲協会は”２場所連続休場・負越しの場合は大関に転落”との決定を発表します。ところが、こんな横綱を生み出した協会が悪いとの世間からの反発が出て、横綱転落の決定は取り消しとなるのでした。
結局、横綱の権威を守るためにも、吉田司家による免許授与ではなく、相撲に造詣が深い有識者による横綱の推薦制へと改善しようと、「横綱審議委員会」を発足することになりました。初代委員長は元伯爵で貴族院議員の酒井忠正氏で、横綱転落議論の巻き起こった年の４月２１日のことでした。