在开始写《基督教小教义问答》这本书之前的好几年里，路德博士曾数次建议他的几位朋友，希望他们能为孩子们预备一本浅显的关于基督教教义方面的书。最终他自己写成了这本在当时极为需要的手册。
1528年的秋季，在访问撒克逊各区会时，路德被信徒们对于他们信仰的无知所震动，这个震动和发自内心的同情与责任感成了路德写作小问答的一个最重要的原因（参照路德《序文》1-11行）。
在这次访问的前后，如早年常行的一样，路德博士在威丁堡市（Wittenberg）讲了系列的讲题，如十诫、信条、主祷文以及圣餐礼等等。这些讲题成了路德博士后来著作《大问答》的基础。
1528年12月，在写作《大问答》的同时，路德博士开始了《小问答》的写作。当大小《问答》基本完成的时候，路德将《大问答》中原有的五段应在带有图解的大纸版上；大约在1529年的5月，带有图解的《小问答》便已完成并开始通行了。路德博士为此书的出版专门作序，并以门徒训条作为结束。
后来，路德博士的其他一些文章，如《婚礼的简单仪式》，《施洗的简单仪式》，与《启应文》亦被编者加在《大小问答》里。至于是否得到了路德本人的许可，我们便不得而知了。
虽然准备的时间与使用的材料时相同的，《小问答》不能被简单地说成是《大问答》的缩写，《大问答》亦不是《小问答》的扩版。两者的口气不一，《小问答》里截然没有要加强《大问答》论证的迹象。原因在于路德博士是根据不同的读者群的需要写作这两个问答的。《小问答》是为一般的平民家庭的信徒而写，《大问答》是为教牧人员而写。《小问答》被十六世纪许多区会章程所使用，又被列入好几个早年承认的信仰纲领内，可见其受重视的程度。因此，将之列入此书，就很自然了。
英文本是根据德文原文翻译。