从有关文字看，潘应该是个清倌。据说当地有个权势人物罩着她。

这是一篇网文的有关文字：

潘素弹得一手好琵琶，大量的客人慕名前来，天香阁也因此把潘素当成了摇钱树。
潘素的名声越来越大，传遍上海，人称“潘妃”。

当地的一个大官臧桌也听说了潘素，于是连手上的工作也不管了，马不停蹄赶到天香阁，只为一睹潘素的芳容。
在见到潘素之后，臧桌一掷千金要娶潘素为妻。
潘素闻言，连连摇头说“我不想这么快就嫁人，先生还是另寻佳人吧。”
没想到，臧桌竟说：“无妨，我愿意等你。”

有一天，张伯驹到上海出差，经常听到别人在讨论潘素，说她精通才艺，擅长音律。
于是满怀期待去了天香阁，想要看看这位别人口中的奇女子。
一曲过后，张伯驹眼神直勾勾看着潘素，回过神后，大笔一挥写下了“潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶。”
张伯驹家产庞大，作为家里唯一的儿子，他的父亲为了让他早点掌管家业，于是在张伯驹15岁的时候，把他送进了银行工作。

张伯驹虽然从小娇生惯养，但是他不追求金钱与名利，而是对书画文章爱之入骨，尤其喜欢收藏文物。
在他的身上完全没有纨绔子弟的影子，而是文人墨客的气质。
在他写下描写潘素的诗后，潘素便对眼前之人暗生情愫。

5天很快过去了，张伯驹即将离开上海，他来到天香阁想要再见一次潘素。
潘素得知张伯驹即将离开上海，不禁悲从中来，失声痛哭。
她不忍心爱之人就这样离开，于是鼓起勇气询问张伯驹：“你可不可以带我一起走？”
张伯驹一听，甚是开心，因为他正有此意，于是连忙让人拿赎金来。
没成想，老鸨冷笑一声道：“想带走她？没门”原来臧桌早已在老鸨那打好招呼了，不允许任何人带走潘素，碍于臧桌的权势，老鸨也不敢违背他，不然天香阁也别想开下去了。

老鸨为了防止潘素逃跑，于是将她关了起来，不许任何人见她。
张伯驹听说此事后，花重金雇了几名打手，趁着夜色偷偷潜入天香阁带走了潘素，带着她去了北京。