镇海楼旧名朝天门，吴越王钱氏建。规石为门，上架危楼。楼基垒石高四丈四尺，东西五十六步，南北半之。左右石级登楼，楼连基高十有一丈。元至正中，改拱北楼。明洪武八年，更名来远楼，后以字画不祥，乃更名镇海。火于成化十年，再造于嘉靖三十五年，是年九月又火，总制胡宗宪重建。楼成，进幕士徐渭曰：“是当记，子为我草。”草就以进，公赏之，曰：“闻子久侨矣。”趋召掌计，廪银之两百二十为秀才庐。渭谢侈不敢。公曰：“我愧晋公，子于是文，乃遂能愧?，倘用福先寺事数字以责我酬，我其薄矣，何侈为！”
镇海楼旧时名叫朝天门，是吴越王钱氏所建。利用石头建城门，在上面架构高楼。高楼的地基垒石高四丈四尺，东西走向共五十六步，南北是其东西距离的一半。楼的左右两侧都有石阶可以登上高楼，整座楼身连同基座共有十一丈高。元至正年间改名为拱北楼。明洪武八年，又改名为来远楼，后来因为有人说此文意不吉祥，于是就改名为镇海楼。成化十年时，镇海楼毁于一场大火，嘉靖三十五年时重建，谁料这一年九月又一场大火将其烧毁。总督胡宗宪派人重建。镇海楼修建完工时，他向幕僚徐渭说道：“这应当作文记之，你为我草拟一篇吧。”于是徐渭书写完成后，便将文章呈进给他，胡宗宪极为赞赏，说道：“我听说你客居这里很久了。”于是催促下人召来府中掌计，赏赐徐渭两百二十两廪银，作为他安家费用。徐渭因赏赐太过优厚而婉拒。胡宗宪说：“我不敢自比晋国公裴度，但你写的这篇文章，能让皇甫湜感到惭愧。倘若用当年裴度的酬谢标准来比对我的酬劳，我给的太少了，哪里算得上优厚呢？”
渭感公语，乃拜赐持归。尽橐中卖文物如公数，买城东南地十亩，有屋二十有二间，小池二，以鱼以荷；木之类，果木材三种，凡数十株；长篱亘亩，护以枸杞，外有竹数十个，笋迸云。客至，网鱼烧笋，佐以落果，醉而咏歌。始屋陈而无次，稍序新之，遂领其堂曰“酬字”。
徐渭听了胡宗宪的话后深受感动，拜谢之后带着赏赐回家。拿出口袋中卖文全部所得即胡宗宪赏赐的银两，在城东南购得了十亩土地，还包括二十二间房屋和两个小池塘，用于养鱼种荷花。园中种植了三种果树，共几十棵；长长的篱笆围绕田地，种上枸杞作为防护，园外还有几十棵竹子，竹笋破土而出。客人来访时，他会捕鱼烧笋，配以水果佐餐，醉后则唱歌助兴。最初屋内摆设杂乱无章，整理后焕然一新，于是将这间屋子命名为“酬字堂”。
徐渭《镇海楼记》：
镇海楼相传为吴越钱氏所建，用以朝望汴京，表臣服之意。其基址、楼台、门户、栏?，极高广壮丽，具载别志中。
楼在钱氏时，名朝天门。元至正中，更名拱北楼。皇明洪武八年，更名来远。时有术者病其名之书画不祥，后果验，乃更今名。火于成化十年，再建于嘉靖三十五年，九月又火。予奉命总督直浙闽军务，开府于杭，而方移师治寇，驻嘉兴，比归，始与某官某等谋复之。人有以不急病者。予曰：“镇海楼建当府城之中，跨通衢，截吴山麓，其四面有名山大海、江湖潮汐之胜，一望苍茫，可数百里。民庐舍百万户，其间村市官私之景，不可亿计，而可以指顾得者，惟此楼为杰特之观。至于岛屿浩渺，亦宛在吾掌股间。高翥长骞，有俯压百蛮气。而东夷之以贡献过此者，亦往往瞻拜低回而始去。故四方来者，无不趋仰以为观游的。如此者累数百年，而一旦废之，使民若失所归，非所以昭太平、悦远迩。非特如此已也，其所贮钟鼓刻漏之具，四时气候之榜，令民知昏晓，时作息，寒暑启闭，桑麻种植渔佃，诸如此类，是居者之指南也。而一旦废之，使民懵然迷所往，非所以示节序，全利用。
且人传钱氏以臣服宋而建，此事昭著已久。至方国珍时，求缓死于我高皇，犹知借Α事以请。诚使今海上群丑而亦得知钱氏事，其祈款如珍之初词，则有补于臣道不细，顾可使其迹湮没而不章耶？予职清海徼，视今日务，莫有急于此者。公等第营之，毋浚征于民，而务先以己。”于是予与某官某等，捐于公者计银凡若干，募于民者若干。遂集工材，始事于某年月日。计所构，?石为门，上架楼，楼基垒石，高若干丈尺。东西若干步，南北半之。左右级曲而达于楼，楼之高又若干丈。凡七楹，础百。巨钟一，鼓大小九，时序榜各有差，贮其中，悉如成化时制。盖历几年月而成。始楼未成时，剧寇满海上，予移师往讨，日不暇至。于今五年，寇剧者禽，来者遁，居者慑不敢来，海始晏然，而楼适成，故从其旧名“镇海”。
张岱《镇海楼》诗：
钱氏称臣历数传，危楼突兀署朝天。
越山吴地方隅尽，大海长江指顾连。
使到百蛮皆礼拜，潮来九折自盘旋。
成嘉到此经三火，皆值王师靖海年。
都护当年筑废楼，文长作记此中游。
适逢困鳄来投辖，正值饥鹰自下鞲。
严武题诗属杜甫，曹瞒拆字忌杨修。
而今纵有青藤笔，更讨何人数字酬！