熙宁四年（一○七二）七月，苏东坡携眷离京往富有湖山之美的杭州上任。在随后八九年内，他始终在杭州，青岛附近的密州以及江苏的苏州为官，无不政绩斐然。这一段期间，他作诗甚多，所写的歌很美，或感伤，或诙谐，或愤怒。以天真快活的心情，几乎赤子般的狂放不羁，将心中之所感，尽情歌唱出来。可是这样忧虑愤怒的诗歌触怒了权要，终于给他招惹了灾祸。
他弟弟子由这时在陈州（淮阳）充任教授，淡泊自甘。陈州位于国都东南七八十里，正在苏东坡治下的视察行程之中，他随后几年都常常利用机会到弟弟家盘桓小住，有时会住上七十几天。苏东坡的儿子已经十二岁，还有一个婴儿，才一岁，但是他弟弟则儿女很多。沉默寡言的苏子由，一声不响只顾生儿育女——最后直到生了三个儿子，七个女儿，都是苏东坡帮助婚配的。苏东坡欣然接受弟弟的请求，与他们共度中秋后才走。子由很穷，住的房子又小又矮。东坡常常对弟弟的高大取笑，他写了两句：
常时低头诵经史，
忽然欠伸屋打头。
他们的老朋友，那位退隐的国家元老张方平，也和他们在一个城里住，大家常酒饭相聚。张方平饮酒甚豪，他的酒量是一百杯。据苏东坡自己说，他自己的酒量则小得多，但是他说他并不以自己酒量小而戒酒。欧阳修也是海量，但是张方平却胜过他，因为张方平开始喝酒时，他不向客人说他们要喝多少杯，而是多少天。苏东坡说：“对你们海量的人我并不羡慕，我喝完一杯就醉，不是和你们一样得其所哉吗？”
那几个月，兄弟二人和家人悠闲团聚，共度时光，兄弟二人常到柳湖去划船，或是在城郊漫步，谈论政治、家事、前途。一天，二人正在讨论国家情势，子由向哥哥进了些忠言。苏东坡的一个短处就是老向客人谈论自己的心思，写文章也是发挥自己的见解。当时不是什么好年月，子由对哥哥太了解。后来，苏东坡的监禁解除之后，子由把手捂住他的嘴，那是告诉他以后要三缄其口。
兄弟二人，气质不同，形貌各异。子由高大，丰满的圆脸，两颊附近的松肉很多，而东坡则健壮结实，骨肉匀停。由他的画像，我们不难判断，他大概是五尺七八寸身高，脸大，颧骨高，前额高大，眼睛很长而闪闪发光，下巴端正，胡须长而末端尖细。最能透露他特性的，就是他那敏感活动、强而有力的嘴唇。他的脸色红润，热情洋溢，会由欢天喜地的表情一变而成抑郁沉思的幻想状。
苏东坡对他弟弟说：“我知道我一向出言不慎。我一发现什么事情不对，就像在饭菜里找到个苍蝇一样，非要唾弃不可
