冯云山出生在一个“家道殷实”的家庭。父亲冯绍衔，早故；母亲胡氏。家距官禄布五里，是洪秀全的表亲和同学，关系极为密切。他自幼诵读经史，博览群书，虽屡试不第，但学得一套中国旧文化的知识。他不愿过剥削阶级的生活，就去当了一名穷苦的农村蒙馆塾师。

　　道光二十三年（1843年）洪秀全在家乡创立拜上帝会，冯云山是他的忠实信徒。为了宣传“拜上帝会”，他把家中所供奉的佛像神像和儒书以及孔丘、孟轲的牌位全部捣碎烧掉。由于他的大胆行为以及所传播的新信仰，遭到乡中一些人的反对，因而失去了教席。

　　道光二十四年五月，冯云山跟随洪秀全离开花县，先去珠江三角洲，然后辗转到广西的贵县赐谷村，宣传拜上帝教，他们在贵县几个月里，吸收了一百多个农民为信徒。同年十月，洪秀全回花县。冯云山独留浔州，开始其艰苦卓绝的宣传教义、组织发动群众的工作。在古林社，曾靠拾牛粪换点米度日，又在上古林社曾槐英家干过放牛、砍柴、挑水等杂活。后得曾槐英推荐，道光二十五年到荒僻的紫荆山任书馆先生。他白天教书，晚上手提火把，翻山越岭，串村走寨，宣传拜上帝教，发展会众。那些耕山烧炭的山民对他十分信服，在不到三年的时间内，发展了山区农民、烧炭工三千余人加入“拜上帝会”，培养了杨秀清、萧朝贵等一批骨干分子。

　　道光二十七年秋，洪秀全再次回到广西与冯云山会晤，决定以紫荆山为基地，积蓄革命力量。这时，冯云山协助洪秀全设立“拜上帝会”总机关，参与制定拜上帝会仪式和《十款天条》，率众开展反封建斗争。道光二十八年正月，冯云山遭劣绅控告，曾两次被捕入狱，在狱中坚贞不屈，并创制了一部新历法。同年十月，经会众营救出狱，后返回花县与洪秀全共谋武装起义。道光二十九年七月，冯云山随洪秀全重回紫荆山区，与杨秀清、萧朝贵等结成异姓兄弟，形成领导核心。道光三十年与洪秀全往平南花洲组织营团。咸丰元年（1851年）参与领导金田起义。

　　金田起义时，冯云山任前导副军师，领后军主将。起义后于同年十二月，在永安（今蒙山）被封为南王，七千岁。

　　太平天国作出的种种改革，都有冯云山的功劳。他在狱中所创制的《太平天历》被批准颁行。于咸丰二年起施行于太平天国管辖的地区。《天历》以“便民耕种兴作”和“农时为正”。天历的使用贯穿太平天国始终。他还负责订立了《太平军目》、《太平官制》、《太平礼制》等。

　　咸丰二年五月，冯云山指挥攻占全州时，中炮受伤。当他处在生命垂危之际，仍对杨秀清说：“迅速出兵，休为我一人误了大事。”六月初十，在蓑衣渡因伤势恶化而牺牲。