剑堂乃陆家上代家主陆康所设立，陆康年少时以义烈著称，刺史臧旻举为茂才，出任高成令。县在边垂，民风彪悍，治安纷乱，家家户具有刀剑弓弩以备不时之需。陆康到后，重整民风治安，以恩信为治，并教百姓习剑修德，遂寇盗亦息，州郡表上其状。后光和元年，陆康迁武陵太守，转任桂阳、乐安二郡太守，所在之处无不为人称道。

剑堂便是在陆康为官时间逐渐完善，并形成规模。

再到后来，袁术的割据势力，屯重兵在邻郡九江郡的郡治寿春，袁因为军队缺粮，向陆康索要米三万斛。陆康认为袁术是叛逆，闭门不与之来往，而且整修战备准备迎敌。

袁术大怒，派遣还寄居于自己麾下的孙策攻打陆康，将庐江城池层层包围。陆康率军队固守，手下皆是剑堂弟子，之前有返乡省亲的，闻讯皆返庐江，乘夜爬城墙回来协助守卫。

陆康率领剑堂对抗孙策，一直坚守了二年，最后长子陆儁、从子陆骏二人皆被孙策阵斩，导致城池陷落。之后月余，他年纪老迈，油尽灯枯，也就病逝了，时年七十岁。螟蛉之际，陆康将剑堂主人之位传给次子陆绩。

陆绩少年成名，剑法出众，博学多识，通晓天文历法，星历算数无不涉览。也堪当剑堂之主，后来孙策马踏江东，在江东大儒张昭的引荐之下，亲自登门谢罪，以求陆家可以出手襄助。

陆绩也是明理之人，当年各为其主，孙策杀兄，也是无可奈何。只是孙策提及剑堂之时，陆绩却婉言拒绝。

“吴侯，非是在下介怀旧怨，只是家父临终时严令剑堂不可参于诸侯纷争，堂中各长老也决然不允。”陆绩虽然愿意出山襄助孙策，但只是他一个人而已。

孙策见状，极为不悦，他要的是剑堂，而不是陆绩一人。便说道：“难道堂主还不能一言九鼎吗？！”

陆绩有一说一，如实回答：“在下虽为剑堂主人，但却不敢违背剑堂规矩，还请吴侯不要强人所难。”

孙策怕陆绩也无法得手，便不再施压。