让外商更不满的是，清政府还赋予行商对外商征税的权力。外国商人在华不仅要缴纳关税，还要向“贸易伙伴”——十三行缴税。经行商之手的附加税繁重，超过正规额定关税数倍乃至十余倍。根据英国东印度公司档案记载，1807年开销的“行用”总额为白银十九万四千一百六十六两，其中贡价（“献”给朝廷的贡品）五万五千两，军需四万一千六百六十六两，河工三万七千五百两，剿匪六万两。1811年数据为贡价五万五千两，军需四万一千六百两，剿匪三万两，前山寨和澳门军费四万三千三百两，外国债务三十九万八千一百两，总额五十六万八千两。不远万里而来的英法等国商人对此大光其火又无可奈何。
如果说广州十三行是中国大门的看门人，那在英国人看来，他们是贪婪、粗暴、不好说话的看门人。心高气傲的英国绅士们恨不得把他们踢得越远越好，直接与主人对话。
限制贸易、行商贪婪、利润太薄……所有的问题归结起来，英国人认为都是口岸太少惹的祸。“开放口岸！”随着时间的推移，贸易急剧膨胀，英国人的愿望日益强烈。
英国人开始是想用和平手段来打破贸易壁垒的。东印度公司牵头搞起了“北部开港运动”，希望寻求广州以北的口岸展开贸易。他们根据热销的中国商品，寻找产地附近的港口。中国商品出口的第一位是茶叶，第二位是丝绸。中国茶叶的主要产地在哪儿呢？在福建、安徽、江浙等省，特别是离福州很近的崇安等地的武夷茶销量很大。1755年，茶叶从产地运到广州平均要走一千二百公里路，需要花费一到两个月的时间。这就增加了运输的成本，产品的品质也受到影响，再加上广州行商的垄断，英国商人进货成本很高。但是如果在就近的福州设立口岸，茶叶从采摘加工到装船，节省了两个月的时间和大笔的费用，节约时间和成本。第二位的出口产品丝绸，原料是生丝。长江三角洲是“湖丝”的产地。同样，如果在宁波、上海开设口岸，英国商人就方便多了。同时，印度的棉花主要是江浙和内地省份的织户使用，广东省很少有人使用。江浙开埠可以把印度的棉花更大量的、更直接地销往江浙和内地省份，在江浙闽增设口岸的利益显而易见，对于英商的吸引力就可想而知了。这就有了1832年英国选定厦门、上海等四大口岸的航行。可惜，清朝政府一律强硬拒绝。从十八世纪晚期到十九世纪早期，英国政府先后三次派使团来华，要求扩大贸易。清朝官府给使团插上“贡使”的旗子，带到北京来收下“贡品”，然后态度明确地告诉他们：有关通商制度的问题，请去找广州十三行商量。