“杜马”一词，是俄文（дума）音译，意为“议会”。沙皇俄国原是封建专制国家，1905年爆发革命运动后，沙皇尼古拉二世为缓和政治危机，于同年9－10月间宣布召集“国家杜马”，赐予一定权力。1906年和1907年，产生了第一、第二届国家杜马，但随后不久就被解散。后来又产生了第三、第四届国家杜马，其权力都不大，但名义上是国家的议会。1917年十月革命胜利后，苏联建立了“议行合一”的苏维埃制度。1993年，俄罗斯又恢复“国家杜马”的称呼。
俄罗斯的国家杜马是1993年建立的。在此之前，俄沿用苏联时期的办法。苏联的议会是“人民代表苏维埃”，其常设机构是两院制的“最高苏维埃”，内分联盟院和民族院。1988年，苏联进行改革，“人民代表苏维埃”改称为“苏联人民代表大会”，其常设机构依然称“最高苏维埃”。当时，俄罗斯也照此办理，建立了“俄联邦人民代表大会”，其常设机构是“俄联邦最高苏维埃”。
1993年10月俄罗斯发生“炮打白宫”事件后，叶利钦总统宣布废除苏维埃制度，建立新的联邦议会，其上院称“联邦委员会”，其下院即“国家杜马”。