按上湘罗氏四修族谱记载，罗泽南故居-谈诗堂正堂是民国十九年庚午（年）由罗泽南的曾孙绍康、绍甫兄弟为首重修的（现已被他人建了新的砖混建筑），右边厢房残留部分危房还是咸丰六年（）由忠节公的两个儿子兆作、兆升建的。此处的谈诗堂只是讲正堂，精准讲法应是潭石屋场的谈诗堂。
此位置最初是忠节公祖上良材少江公购潭石屋场地卜址开基，嫌“潭石屋场”名太俗，遂改成文雅之名为“谈诗堂”。并非有些人臆测的罗泽南谈诗论学的堂馆，据郭嵩焘编纂的《罗泽南年谱》记载，嘉庆十八年，罗泽南七岁，所居丹崖堂成，是否是谈诗堂右侧至其高祖魁五公老屋中间那屋堂暂未有资料考证。
少江公为忠节公第八代祖，少江公生三子:长敬宇，仲爱宇，季海宇，后因子孙繁衍，人多屋少，敬、海两行迁出，留正宫堂屋共有，其余全部卖给爱行，即忠节公的第七代祖。后又经过六代繁衍，人满为患，其余各支外迁罗山附近各处，将东西厢房和左右环房全部卖给忠节公，但正宫堂屋还是爱宇公子孙共有（至民国十九年重建时还有爱宇公享堂尚在），即现在所讲的公共厅屋。原来东西厢房都比正宫堂屋高，有点欺主的味道，粤语讲“妹子大过主人婆”，成何体统。民国十九年重修时才将正堂抬高几尺，巍然屹立成为后来谈诗堂的样子。以下是上湘罗氏四修族谱记载的爱宇公后裔共撰的《重修谈诗堂记》，介绍谈诗堂来历、经过。按古时的规矩凡讲某某堂都只是讲正堂，而不包括左右厢房，如果连在一起只能叫某某屋场。所以谈诗堂并不是罗泽南一支的，而是爱宇公以下的各行共有，到民国十九年应超过十代了（圣-爱宇公、光、如、日、拱、嘉、泽-忠节公、兆、长、延-绍康、绍甫兄弟），所以是爱宇公后裔给公共厅堂立的规矩。
重修谈诗堂记录自上湘罗氏四修族谱形家言:罗山之间有阳宅二，在上罗者日台洲“久大名门”，在下罗者即湾洲“谈诗堂”是也。台洲当明之中叶，富称巨万，数传之后，有孀妇罗三娘者，善治产，户粮达八百余硕之多，仆婢百数十人，拟封君焉。当是时，湾洲犹式微也。洎逊清道咸之际，忠节公挺生其间。为诸生时，与其徒王鑫、杨昌濬、李续宜诸子讲濂洛关闽之学，天下号为儒宗。及粤贼踞金陵，大江南北，生民涂炭，率子弟创立湘*，提师东下，转战吴楚间，牿州披县，克名城廿余，天下又称为名将。
(编者注:年3月，原住户拆屋重建，从屋上拆下房梁，上有文字记载为“胞弟泽曙督修，钦赐举人男兆作兆升立，族弟泽钧敬书，清咸丰六年岁次丙辰季冬”。)
时同行瑞林、兰溪、珉源诸公，亦发奋从戎，积功累伐，珥貂相望，而罗氏遂为湘上名阀。溯其发祥之所自，虽由于祖若宗数百年积累之厚，抑亦山川之灵气有以助之也。初，少江公悦湾洲之美胜，卜筑是基，颜曰“谈诗堂”。公生子三:长敬宇，仲爱宇，季海宇，世居斯堂。后敬海两行，尽以其分受基业售与爱行，独管故正宫厅事，至今为爱宇公享堂。是时厥后，爱行子孙聚族于斯，骚成巨村。久之，而子姓繁衍，大有屋少人满之患，各行又以其分受基业售与忠节公独有。公之家人嗣而葺之，更扩大其规模，故东西两厢及左右环房，至今为公后嗣私业。民国庚午（编者按：民国十九年即年），忠节公之曾孙绍康、绍甫兄弟，因祖堂墙壁倾欹，梁栋亦渐就腐朽，惧其久而圯也，倡议重修，众谋佥同。乃鸠工庇材，经始于秋，落成于冬，计费二百余金。行中父老庆侯、云浦、泰锡、桂亭诸先生壮其行，督子侄贵喜、常汉、艾轩、桂林、子荀、子光、祥槐、裕和、玉亭等，摊捐光洋四十元饮之。噫!百年旧宅，势将倾颓，不数月而焕然一新，是亦孝子嗣孙所有事也。夫以绍康兄弟，早失怙恃，年龄尚少，雅知追宗念祖，不惜私输重金，重新堂构，洵不愧为功勋之裔。而行众亦不拘泥成规，公捐私派，乐相与以成之，此殆祖宗在天之灵有以默牖其衷耶!先是，正宫较矮，反为旁屋所欺压，殊不足以壮观瞻，屡议建筑，迄不果行。至是升高数尺，巍然屹立，言风水者谓宅兆既吉、高卑又合法度，祖宗之灵爽式凭，子孙之昌大，固可卜其更盛于前已。泚笔记之，以俟后之来者。惟祖堂私宅，连墙合壁，兹为公私咸宜起见，议订条约数则列右:
一、本公派下各行支祖，拱班以上已入主者，照旧安放，未入主者，应许加入。至嘉泽两世，如再有主加人，公议预缴入主费银币三十二元整。自兆班以下，概不加入，以示限制。惟绍康兄弟世居本宅，不在此限，但须昭穆有序，不得凌躐位次。日后绍康兄弟子姓蕃昌，分创门户，有徙居他宅者，亦不得藉词入主。
一、本公诞祭，向因祀产微薄，祭器缺如，即厨室、锅灶、碗盏、桌凳及一切应用什物，均未置办，子孙之居是宅者，应负通用之义务，不得稍涉悭吝。其有各行私祀，借用厨室器皿，亦属人情之当然，虽属旁系，义不容辞。
一、寝室为祖宗灵爽式凭之所，务宜肃静。本宅子孙，除婚嫁庆祝丧祭外，匠人不得在厅工作，宾客不得在厅博弈，并不得摆放什物，惧亵也。
一、岁时朔望及中元令节，本宅子孙供奉香纸油灯，原属应尽之义务，须俟公赀宽裕后，酌给帮费。
一、以上各条，合行恪遵无违，如有未尽事宜，行众得随时增补之。
爱宇公裔同刊
湾洲谈诗堂阴阳宅图记
右宅在二十九都，地名“谈诗堂”，原名“潭石屋场”。脉自一字玉屏至龟落冲跌落，平冈随起圆顶。披分三支，中支结镜山坦，安厝数五公及翁、赵、周三孺人，其下林家冲口，安厝元锡公及蔡孺人，左支峡过杉树坳，结新园嘴，起势雄伟，如“猛虎跃涧”形，安厝非霞公之配张氏及魁伍公，右支至茶山乇，结“丹凤含书”形，续厝紫堂公，已山亥向。以上四处祖地，叠葬多冢，详见世系。山麓爱宇公享堂在焉，巽山乾向，眉弓作案，秀丽难名。三水汇于前，玉屏乐于后，诚佳山水也。图内所载林家冲、杉树冲、新园嘴、茶山乇，系爱宇公子孙照据管理，务宜扫禁，以培风水。
（编者按：录自上湘罗氏四修族谱）
沿着湘*始创者精神领?忠节公泽南开僻之蜿蜒罗山小道探寻其经世致用的理学思想及耕读传家的优良传统文化讲湘*故事欢迎