中国著名作家沈从文青年时期曾两次来到芷江。第一次是随部队来到芷江清乡剿匪；第二次是为了生计投亲找工作，谋得一份在警察所的差事。虽然时间不长，但他两次来到都受到不同的人生教育，尤其是第二次，他亲历了百年罕见的旱灾惨景，受到的教育和记忆非常深刻。

1920年12月，沈从文所属张学济部队在鄂西来凤遭到当地“神兵”袭击，全军覆没，沈从文因为年纪小而留守辰州（今沅陵），幸免于难，最终也因留守处裁撤而被迫遣散回凤凰。于是，沈从文离开凤凰又来到芷江，投靠五娘舅黄巨川。黄巨川此时就任芷江警察所所长。沈从文在《女难》一文中写道：“家中实在蹲不住，军队中不成，还得另想生路，沅州地方应当有机会。那时正值大雪，既出了几次门，有了出门的经验，把生棕衣毛松松的包裹到两只脚，背了个小小包袱，跟着我一个亲戚的轿后……走了四天到地以后我暂住在一个舅父家中，不久舅父作了警察所长，我就作了那个小小警察所的办事员。办事处在旧县衙门，我的职务只是每天抄写违警处罚的条子。隔壁是个典狱署，每夜皆可听监狱里犯人受狱中老犯拷掠的呼喊。警察署也常常捉来偷鸡摸狗的小窃，一时不即发落，便寄存到牢狱里去，因此每天黄昏将近牢狱里应当收封点名时，照例我也得同一个巡官，拿一本点名册，跟着进牢里去，点完名后，看着他们那方面的人把重要犯人一一加上手镣，必须套枷的还戴好方枷，必须固定的还把他们系在横梁铁环上，几个人方走出牢狱。”

后来，警察局又接管了征收屠宰税的工作，沈从文又兼做“收税”。那时芷江县城是沅水上游一个极为重要的大码头，往来船只颇多，加之芷江自古以来又是官道，人流量较大，每天要宰杀数十头猪牛。当时每头猪征税640文，牛征税2000文。沈从文每天填写税单，另一人负责检查。为防止漏税，沈从文常常要跑遍全县城的每一个屠宰摊点。由于从事征税工作，沈从文要与各式人物交往，于是，在很短的时间内就熟悉了不同阶层的各式人物，并和他们交上了朋友，尤其是与那些屠户。

沈从文虽然来芷江工作时间不长，但他既聪明灵活，又善于观察事物，很快便了解芷江当时的社会现象。当时，整个芷江县城的经济一片萧条，讨米要饭的乞丐随处可见，城内城外的社会治安状况特别混乱，偷盗抢劫的事件时有发生。造成这种社会状况的原因就是芷江连续两年罕见的旱灾。

据芷江文史记载：1921年（辛酉年）夏， 芷江遭受了百年不遇的特大干旱。从四月下旬起，连续三个多月没下一场透雨，每天烈日当空，大地散发出焦糊的气息。龟裂的稻田，坚硬得像一块块铁板，枯焦了的禾苗可以点得火燃。老井干涸了，溪涧干涸了，人们的汗水和泪水也流干了。饥民们抖动着焦裂的嘴唇，乞求着上苍的垂怜。农历八月，正是收割稻谷的时节，而那年的芷江农村，却看不到一个秋收的人影，全县的收成包括旱粮在内，十成还不到一成。

1921年的大旱，极少数的殷实人家都难以应付，贫寒人家就更苦了。到了1922年（壬戌年）的春夏，饥荒更为可怕，是芷江历史上最大的灾年。当时芷江知事杨子奉与福音堂牧师包格非统计，那年全县因饥荒、瘟疫、匪祸而死亡的人，数以万计。在这百年罕见的灾年里，老百姓为了生存，山上的野菜掘尽了，能吃的树叶摘光了，山上的野菜都拔完了。县城内饥饿的人们又成群地奔向芷江县城边远的明山去采蕨、挖葛，以维生存。一旦挖出葛根，便用水稍稍洗去表皮的泥土就大口大口啃起来。 后来明山的野菜、葛根挖完了，有人又发现在明山脚下有一种能去饥饱肚的白色粉状泥土（人们称它为“观音土”），大家又如潮水般向那里涌去。这种土说来也怪，吃进嘴里还真有点甜味，但吃进肚后，肚胀难熬。更为可怕的是拉不出大便，每当大便时，都得用手一点一点地抠。因拉不出大便，被这种泥土胀死的人不计其数。

饥荒像洪水、似猛兽，那时的芷江人每天都在死亡线上挣扎着。人们为了活命，年轻能动者远走他乡，强悍非分者便干起了杀人越货的勾当。至于那些老实本分、年老体弱、既不愿逃荒他乡乞讨，家中又无粒米下锅的人们，除了等死外，便是卖妻鬻女……从外地来的人贩子，乘灾打劫，大搞廉价拐卖妇女儿童的勾当，伤天害理。

芷江的特大饥荒，震动了湖南省赵恒惕政府，也牵动了居住在北京、曾任过袁世凯时期的内阁总理，后任华洋义赈会理事长的熊希龄。熊希龄设法筹集了一笔救灾款项，通过湖南义赈会购买了一批粮食，运来芷江救灾。有了这些救灾粮食后，当时芷江的天主堂、福音堂等“慈善机构”便承担了发放赈粮的使命。就在县城东岳庙、河西三义官前搭起了施粥棚，每处摆几口大锅，锅不停水、灶不熄火地煮制稀饭，布施饥民。当时在城里的关帝庙、显灵祠、东岳庙等处住满了从乡下上城讨食稀饭的人，每天在施粥棚前排队的人成千成万。

自救灾活动开展后，沈从文又多了一份工作，那就是与警察所的同事们到东岳庙、三义官等地施粥棚维持秩序，防止拥挤、抢夺等事件发生。另外，还要下到河东、河西、东南、西北街的街道维持社会治安。受特殊灾害的影响，城外的土匪活动非常猖獗，杀人放火、抢劫之事时常发生。再加上1922年不仅是罕见饥荒年，更是匪患猖獗和瘟疫大流行之年。从一月初至二月二十一日，仅一个多月的时间，穷凶极恶的土匪三次攻打县城。匪首张实镇、周玉清、杨环城等纠集数千名土匪朝县城发起猛攻猛打。土匪们攻不破县城，便在东门外、黄甲街等地大肆烧杀掳抢。可怜居民流离失所，又被土匪抢杀迫害，真是惨不忍睹。县城的匪情尚且如此，乡村就更猖獗了。当年6月，该县又爆发前所未有的瘟疫，传染极快，加上缺医少药，死亡率极高。人患病后，吐泻不止，早上得病，晚间即死。每天从四个城门抬出的死尸多达两三百具，全部到城东郊的大坑掩埋，后来就有了“万人坑”之说。面对这样的社会现状，沈从文与警察所同事们肩上的职责更重了，工作也就更忙碌了。

沈从文在参与救灾和维护社会治安秩序中亲眼目睹了灾民的悲惨状况，亲身经历了芷江罕见灾年，他的思想随之产生了巨大的震动，这也在他的人生中留下了极为深刻的记忆。正如沈从文给沅洲失学青年周子厚的回信中所说：“土匪来围城时，便随同团总龙胖老爷半夜里到处去查街。大饥荒年成，还亲眼见过万千逃难来城的穷人，随处倒毙在大街小巷间……这就是我受的教育。很好的一种教育！”