此时，刘备的一个决定，更加加重了糜芳的顾虑。当初，刘备应刘璋之邀，带兵如蜀，协助其抵御张鲁对蜀中越发猖狂的进攻。而在入蜀之前，刘备留下关羽坐镇荆州，同时指派糜芳为南郡太守，守卫江陵。

刘备的本意，是关羽主战于外，糜芳主政于内，两人相互协助，就如同当年自己跟糜竺互相配合时那样。但万万没想到，刘备不是关羽，糜芳也不是糜竺。关羽素来轻慢士人，尤其是像糜芳这些，命名出身商贾，却偏以士人自诩的人。

在关羽的几番数落之下，糜芳越发觉得，自己是跟错了人，并深深地悔恨，当年倾尽家财资助刘备的举动。因为在他看来，当年的所为，并没有给自己换来更多的利益，反而还落得个寄人篱下，处处看人面色的下场。

于是，糜芳开始试图想办法“回本”，说白了，就是用自己手中的权力，给自己牟利。南郡地处荆南，离梁祯太远，因此糜芳只能将目光，投向近在咫尺的孙权。跟孙权搭上话后，糜芳开始跟孙权做起了生意。

初时，糜芳还很谨慎，卖的都是正常的货物，只不过商税全进了他的口袋而已。但慢慢地，糜芳觉得，这样做，来钱太慢了，毕竟，这寻常的货物，能够换来多少财帛？

当时，东吴的大都督还是鲁肃。这个人，表面上谈吐儒雅，文质彬彬，但实际上，心机入海，城府极深。两番试探后，鲁肃便明白了糜芳心中所想，于是便对糜芳说，他想跟糜芳做一些，利润更高的“生意”。

鲁肃口中的生意，就是倒卖南郡的军粮甲杖等。初时，糜芳严词拒绝了，但怎奈，他拒绝鲁肃的次日，关羽便因一点小事将他骂了一顿，并故意在宴会上，不给他安排座位。没有座位，糜芳就只能站在睽睽众目之下，这是何等羞愤之事？

于私，恼羞成怒的糜芳，当夜就答应了鲁肃，跟东吴做起了军火生意，并从中， 获得了数以百万计的财帛。只是，常言道，纸是包不住火的，糜芳的小手脚，最终还是被关羽发现了。

但关羽对此，却也是无可奈何，毕竟，糜芳再怎么干，都是刘备的亲家。关羽再怎么样，也不能将糜芳法办，不然你叫刘备如何是好？因此，只能在别的方面，通过不断地给糜芳难堪，来当做对糜芳倒卖军粮甲杖之举的“处罚”。

这就如一个死循环，关羽越是轻薄，糜芳就越是愤怒，跟东吴的“合作”也逐渐走向全领域，多层次。不知不觉，时间来到了建安二十四年，这一年，关羽见梁祯后方动 乱不止，觉得是机会来了，于是便举兵北伐，让糜芳在江陵，督促军粮甲杖的转运。

只是，今年的天气，并不怎么好，江汉流域暴雨滂沱，这无疑让军粮甲杖的转运，变得难上加难，误期是必然的。但在关羽眼中，却全部是这么一回事，因为糜芳的“黑历史”实在太多了。这让关羽认为，糜芳是故意如此。

持有这种想法的关羽，变得愤怒非常，因为现在正在进行的，是北伐中原，是关乎到兄长刘备夙愿的国家大事！平时的那点小事，关羽可以视而不见，但现在，在军国大事面前，糜芳还是这种态度，你叫关羽如何能忍？

于是，万分愤怒的关羽，给糜芳写了一封信，信中用极为严厉的言辞，催促糜芳立刻将军粮甲杖送到樊城前线，而且关羽还嫌不够，在末端，威胁道：再有怠慢，还当治之！

糜芳收到信后，当即大惊，因为他知道，关羽是将大雨造成的延期，全部归咎到自己的态度上了，而更难的是，糜芳也知道，自己在关羽那里，形象从来都不好，因此纵使今次，是自己有理，也是辩解不清的。

而且，作为跟关羽共事十有四年的人，糜芳知道，在关羽心中，士卒的命，比什么都重。因此，关羽这次在信中所写的，“还当治之”，一定是因为前线因辎重不至，而出现失利，让军队出现了不必要的伤亡。而以关羽的性格，等他回来，唯自己是问，以给士卒一个交代，才是必然会发生的事！

糜芳认为，自己是必须给自己谋一条后路了，要不然，等到关羽回来，将对自己的误解，加上自己此前的所作所为，一并递到刘备面前，就算是有大哥糜竺的关系，妹妹糜夫人的旧情在，只怕也是保不住自己了。因此，糜芳当即通过多年来布下的网络，跟接替鲁肃出任东吴大都督的吕蒙取得了联系，并表示自己愿意归降孙权，替东吴效力。