一八六八年一月十八日，河北省静海县小南河村（今属天津市西青区南河镇）以保镖为业的迷踪拳宗师霍恩第降生了他的第二个儿子，取名曰霍元甲。
霍恩第的迷踪拳出神入化，所以很多大商人都求他保镖，霍恩第只镖穷苦百姓、清白之人，对贪官污吏决不保镖。
霍元甲的降生给霍恩第带来了很大欢乐，但是想要子承父业的霍恩第，决心要把毕生绝学迷踪拳传给兄弟二人，在霍元甲长到能记事的时候就失望了，因为霍元甲体弱多病。
霍元甲幼年体弱，父亲霍恩第不让他习武，担心元甲习武日后有损霍家名声，拒不授艺于他。
霍恩第要他进私塾读书，也是在那个少年时代，霍元甲认识一个叫做农劲荪的爱读书的玩伴，虽然他们的爱好各不相同，但同样还是成为了好朋友。
虽然霍恩第不让霍元甲习武，但是霍元甲志存高远，他日日留心，处处参察，偷艺于父传兄弟之机，在小伙伴农劲荪的帮助下，偷偷苦练于舍外枣林之僻。
他偷学的事情被霍恩第知道，并且受到责罚。
之后，霍恩第要求霍元甲保证绝不与人比武，不辱霍家门面，方准父兄一起习武，没想到霍元甲天资聪颖，毅力惊人，功艺长兄亢进，在兄弟之中出类超群，并在24岁那年5分钟之内击败了一位仅仅用三式打败了霍元甲的哥哥与弟弟的人。
父见此，一改旧念，悉心传艺于他。
陪伴霍元甲走完最美好童年的是农劲荪。
在27岁以前基本上生活在故乡，时常挑柴到天津去卖。28岁后到天津当上码头装卸工，后来在农劲荪开设的怀庆药栈当帮工，升任掌柜。
1909年，41岁的霍元甲，由农劲荪介绍来上海，自此开始他人生的转折点。
早年就开始闯荡江湖的他给自己积累了一定的人气和名声，当他觉得时机开始成熟的时候就和农劲荪一起开办精武体操会。
作为一起长大的好朋友农劲荪当然是毫不含糊第答应，霍元甲出力，农劲荪出钱。
但当时上海武馆犹如雨后春笋一般开办的很多，甚至有了一个武术协会，协会里面还有一个会长，精武体操会似乎不适合当时的潮流，于是乎，在他们两人的商议之下，终于同意将精武体操会改名叫做精武门。
民国一九一零年一月，精武门正式成立。
