二是杭城初建时,钱唐门内有一座可算是宝石山余脉的土阜。这座小山据明代田汝成的《西湖游览志》记载:“ ……高可三丈,广不满百步,弄虎出焉,故名虎林。”可见当时甚至在杭州城内还有老虎出没,新建的杭城,其北门在虎林山的北侧,所以就叫虎林门,这是杭州又名虎林的原因。唐朝建立后,唐高祖李渊的祖父叫李虎,为避讳,才把虎林门改称武林门,直到现在还保留武林门这地名。不过避讳的说法恐怕不确切,因为如上所述,早在班固写《汉书》的时候就已经有武林山、武林水的说法。何况不远的苏州虎丘当时也没有改成武丘或别的名字,虎林讹成武林的原因更可能是浙北方言中“虎”字和“武”字发音相近。
西汉承秦制,杭州仍称钱唐,又被称为“泉唐”。汉武帝元狩二年(前121)废江都国之前,钱唐是汉初一些侯国的属地,此后仍归会稽郡管辖。汉平帝元始四年(4)改钱唐县为泉亭县,王莽建立新朝承袭之。东汉初,复钱唐县旧名,但被划归郡治在吴县(苏州)的吴郡。这时北面宝石山脚和南面万松岭下的海滩已经合拢,钱塘江带来上游的泥沙,在现今的杭州市区继续淤积,陆地面积逐渐扩大,上面开始有人居住,农田水利兴修也初具规模。武林水给杭城先民带来生活和生产必需的淡水,但潮水倒灌时就不能用了。
为了抵御海潮侵袭,《钱唐记》中说东汉时会稽郡的郡议曹(官职名)华信在县东一里许修筑了杭城的第一条海塘,西湖从此与海隔断,成为内湖,也是杭城先民的唯一水源。《钱唐记》又说:“明圣湖在县南二百步,县西有石姥山”。按明圣湖是南朝时期西湖的名字,石姥山即宝石山,可见南朝刘宋时钱唐县政府已经从初设县时的北高峰东麓搬到宝石山东北山脚下,今天的浙江省人民大会堂附近。该地离那时的海边约一里路,那麽华信所修建的海塘,应该就在今天杭州延安路稍东一点,北起宝石山南到万松岭,大体与西湖东岸平行。
三国时期,杭州属于吴国的扬州吴兴郡。因外族相继入侵,晋室南迁,东晋初年南方没有北方那样连年战乱。钱唐县因有山川湖泽之利,北人南迁有不少在此定居,人口增长很快,促进了江南和钱塘江两岸经济文化的发展。此时已有印度佛教徒来东土传教,也有来到江南的。灵隐一带的山峰怪石嵯峨,风景绝异,当时有一个来到钱唐的印度僧人慧理见到和现在的灵隐寺隔涧相望的小山以后称:“此乃中天竺国灵鹫山之小岭,不知何以飞来?”,于是就叫它“飞来峰”。晋成帝咸和元年(326)他就在飞来峰下建佛寺,因为他认为此地乃神灵隐居之地,故取名为灵隐寺,从这个时候起才有灵隐的名字。灵隐寺不仅是杭州最古的佛寺建筑,也是江南最古老的名刹。差不多同时,道教也在西湖一带留下活动踪迹,葛岭就是因为东晋著名炼丹术士、抱朴子葛洪在此炼丹而得名。
随着人口的增加,梁武帝太清三年(549),升钱唐县为临江郡,从此上升为郡一级的治所。陈后主祯明元年(587),又改称为钱唐郡,下辖钱唐、于潜、富阳、新城四县,属吴州。 隋王朝建立后,废郡存州县,开皇九年(589)平陈,改钱唐郡为州时,置余杭县并将州治移于此处,因名杭州,下辖钱唐、余杭、富阳、盐官、于潜、武康六个县,这是历史上第一次出现杭州的名字。钱唐县成为杭州的属县,次年(590),把州治从余杭移到钱唐县城内。