芥川的父亲新原敏三经营牛奶业。芥川出生7个月后，因母亲精神失常，被送往舅舅芥川道章家抚养。11岁时母亲去世，舅舅膝下无子，遂正式成为其养子，改姓芥川。芥川家是世家，祖上世代担任江户城的司茶者，家中文学、艺术氛围浓郁，养父芥川道章擅长南画、俳句。或许由于家庭环境的熏习，外加天资聪颖，他从小就喜欢阅读日本江户文学以及《西游记》《水浒传》等中国文学。芥川于1913年考入东京帝国大学英文系，1915年发表《罗生门》，并成为日本文豪夏目漱石的门生。翌年发表《鼻子》，受到夏目漱石的高度评价，由此闪耀登上日本文坛，同年以优异成绩大学毕业。1919年辞去教职，成为专业作家，并与塚本文（1900—1968）结婚，先后生下三个儿子。
1921年3月至7月芥川以大阪每日新闻社海外视察员身份访问中国，在中国逗留了120余日，这是他梦寐以求的中国之行，也是他人生中唯一的一次海外之行。在中国旅行期间，芥川亲历了日本帝国主义的狂暴。35岁那年他选择自杀离去，当时日本刚刚经历了大正、昭和的改元和昭和金融危机。芥川之死震撼了整个日本社会，一代“鬼才”、不食人间烟火的书斋才子等成为他挥之不去的标签，其文学评价因其自杀而跌入低谷。1951年黑泽明导演的《罗生门》在威尼斯国际电影节上获得金奖，该影片以芥川的代表作《罗生门》命名，但实际上是由其另一部作品《竹林中》改编而成，这是日本电影走向世界的契机，也是芥川文学走向世界的契机之一，芥川文学在日本国内也开始获得重新评价。