沿着运河撤退的联军在这样的情况下，每天的行进速度不到10公里。到达北仓的时候，联军伤亡人数已经达到150人，其中包括西摩尔的参谋长泽力克上校。紧接着，联军在穆家寨附近又遭到天津义和团首领曹福田率领的义和团大队的攻击，损失再次增加，以至于白天不敢再行军。
接近天津城的时候，联军遇到一个挡在其退路上的帝国要塞：西沽武器库。西摩尔命令部队绕行，尽量避免和帝国军队发生战斗。但是，当联军沿着武器库围墙外面的河道顺流而下的时候，他们被发现了。两个“身穿红裤子、扎红腰带、缠红头巾”的中国人突然从武器库大门出来，站在河岸上喊：
“干什么的？”
联军的前锋是美国士兵。慌张的美国人中有个会说中国话的下层军官，竟然如此直率地回答：“外国人，到天津去！”
两个中国人说：“好的！”接着，就开枪了。
原来，帝国在天津地区最大的武器库，目前竟全部由义和团的农民们把守着。当联军的全部船只暴露在义和团的火力之下的时候，联军除了强攻之外，没有任何其他的选择了。
一个英国军官后来回忆：“如果我们面前不是义和团的话，我们没有一个人能够活着回来。”
在联军的火力掩护下，英国少校钟斯通率领海军陆战队队员开始强行冲击。而西摩尔亲自带领另一支部队从下游过河，试图包抄武器库的后门。武器库里的义和团有几千人，但是，他们都是刚刚收完麦子的农民，没有一个人有过战斗的经历，他们甚至连枪都不会使用。在联军的前后夹击下，联军原本认为坚固无比的帝国武器库竟然被打开了，尤其是联军把武器库的一座角楼轰塌之后，义和团完全丧失了抵抗的力量，农民们胡乱放了一阵枪之后，开始四处跑散，一大群义和团农民被联军抓住，立即全部被枪决于武器库的围墙之下。
西摩尔巡视了这座武器库，发现这是一个好地方：四周修建有坚固外围工事的武器库不但是理想的堡垒，而且里面武器弹药充足，可以保障官兵们的生命安全。特别是，武器库里竟然存有一些中国大米，还有大量的空闲房间可以安置伤员。这一切，都是疲惫致极的联军官兵们急切需要的。
西摩尔决定不再撤退了，在这里坚守到天津方向的增援到来。
义和团被赶出武器库后不久，1万多名帝国官兵到达，并开始对丢失的武器库进行反击。这是驻守在天津的聂士成的部队，是“刚刚觉悟，决定和义和团站在一起”的帝国军队。这座武器库应该属于他们的防守范围，现在丢失了，他们有不可推卸的责任。帝国军队的攻击是坚决的，两个小时的战斗后，帝国军队便占领了武器库全部外围工事，最后，围墙的又一角被攻破，这次是联军退守到库内的营房里。然后，战斗突然停歇了几个小时，武器库四周一片寂静。半夜时分，在极其恐惧和疲惫中惶惶不安的联军官兵听见围墙上有一些动静，等他们爬起来端枪的时候，大量的中国军民已从四周围爬墙了进来。这是最后的时刻。黑暗中枪声连成一片，到处是厮打、咒骂和痛苦的呻吟。
混战持续到黎明，中国军民突然不明原因地退去。
联军伤亡已达二百多人。
武器库中央有一块空地，成了埋葬联军官兵的墓地。
帝国军队有一门巨炮，是一门德国制造的远射程炮，联军的火炮无法压制住它，因此联军官兵们给它取了个名字，叫做“慈禧太后”。这门巨炮昼夜不停地往武器库里发射炮弹，联军伤亡的官兵大多都是因它。
为了与天津的联军取得联繫以得到增援，西摩尔亲自挑选了100名突击队员，命令他们不惜一切代价突击出去，把这里的信息带到天津的联军指挥部。但是，这支突击队刚刚冲出去几步远，就立即遭到中国军民的顽强阻击。突击队在强行前进的时候，他们更加清楚地暴露了他们是人数不多的“一小队洋鬼子”，于是招致了更大规模的围攻，最后不得不撤回武器库。
孤立无援、看不到任何希望的联军官兵已经处在精神崩溃的边缘。食物再次断绝，武器库已被中国军民围困得如同铁桶。如果中国军民再发动一次或两次像样的攻击，西摩尔的联军是否能抵挡得住就会成为问题，而一旦抵挡不住的后果是可以肯定的：全部被杀死在这里。那时，武器库四周方圆数里内的所有树木的树梢上，都会挂满联军官兵的“洋”脑袋。
就在这个时候：天津方向的增援部队赶到了。
奇怪的是，前来接应的联军，竟然没有受到任何像样的阻击便到达了这里——“除了过一座桥的时候，和帝国的军队交了一次火，其他的清军阵地均一枪未放。”
那么，天津的联军是如何知道西摩尔的消息和位置的呢？
还是一个中国人。
西摩尔组织突击队时候，他找到了他的部下，一位英军上校，命令他把他“忠实的僕人”贡献出来。这个“忠实的僕人”是一个中国人。西摩尔“拍着他的肩膀”，作了一番“重奖的许诺”，并亲自把这个中国人送到武器库的大门口。这个中国人没走多远就被义和团抓住了，他立即把西摩尔的信件吞到肚子里，然后称自己是一个“迷路的商人”。不知为什么，在军情如此紧张的时刻，义和团的农民们居然相信了这个中国人的谎话，“把他释放了”。