虞愿字士恭，会稽余姚人。祖父虞赉，作过给事中，被封为监利侯。父亲虞望之早死。虞赉院子里有棵桔树冬天成熟，家里的孩子们都争着来摘，虞愿才不过是几岁的孩子，却独独不去摘取，虞赉和家里人都觉得他很怪。
宋元嘉年间，虞愿作湘东王国常侍。等明帝即位，因为虞愿是出身儒生的官吏，有学识修养，又是自己以前藩国的旧属，待他很是优厚。委任他为太常丞、尚书祠部郎、通直散骑侍郎。明帝生性猜忌，肥胖怕风，夏天常穿着小皮衣。封左右二人为司风令史，哪面来了风，要先告诉他。星象有灾变，不相信太史，也不听朝官的意见，下令让灵台两名知星官听虞愿调遣。虞愿常在宫内值班，有什么异常征兆先启奏明帝，以作参考。
明帝在旧宅基上盖湘宫寺，极为奢华，花费很大。因为孝武帝建庄严刹有七层，明帝便打算建十层，但太高盖不成，就分成两座，各五层。新安太守巢尚之免职后回京见明帝，明帝问他：“你去过湘宫寺没有？我建成此寺是大功德。”虞愿在一旁说：“陛下建这座寺，用的都是百姓卖儿典妻的钱，佛如有灵，一定会伤心痛哭。罪孽比宝塔还高，哪儿有什么功德！”尚书令袁粲在座，吓得脸都变了色。明帝大怒，叫人把他拉出殿去，虞愿脸不变色从容离去。因为他和明帝有旧时情分，不几天又被召回宫内。
明帝好下围棋，但很笨拙，棋艺不佳。被舆论评为第三品。他和第一品王抗下棋，自认为是同一品级。王抗让他，慌称：“皇帝下的飞棋，臣无法隔断。”明帝始终不觉察，以为真是如此，便对下棋更为迷恋。虞愿又对他说：“尧用这教他的不肖之子丹朱，所以这不是人主所应喜爱的东西。”虽然数次忤逆明帝的心意，但受到的赏赐还是高于别人。后来升迁兼任中书郎。
明帝卧病时，虞愿常在身边服侍端药。明帝尤其喜欢吃一种叫逐夷的鱼干，用银钵盛蜂蜜腌制，一次就能吃好几钵。他问扬州刺史王景文：“这东西好吃得很，你有没有过过瘾？”景文回答：“臣历来爱吃这东西，只是贫穷很难得到。”明帝听了很高兴。吃逐夷积累得多了，胸腹结块鼓胀，眼看要断气。左右启奏可饮几升醋酒，闷胀才消下去。病已很重了，一顿还要吃三升肉羹。肚里油水积累太多，吃药也不见效了。病危那天，正坐着招呼和尚，一合掌便咽了气。
虞愿因为长期在明帝患病时服侍他，被转为正员郎。出京作晋平太守。在任上不置产业。前任官员和百姓发生冲突，扣压人家的妻儿，虞愿派人到半路上劫夺回来。在郡内开设学校。晋平郡以前产髯蛇，胆可以作药。有人送给虞愿一条，虞愿不忍杀它，把它放还到二十里外的山中。一天夜里蛇回到他床底下，又送到四十里外的山里，过了一夜又回来了。人们都说这是他的仁爱之心的结果。海边有一块越王石，经常隐没在云雾里，相传“清廉的太守才能看得见”。虞愿前去观看，结果清彻不见遮挡。后来琅I王秀之来作郡太守，给朝中的官员写信说：“此郡在虞公之后，善政犹存，留下的良好风尚被习惯遵从，因此还算是太平无事。”因为母亲年老而辞去职务，被委任为后军将军。褚彦回曾去拜访虞愿，虞愿不在家，只见他床上落满了尘土，有书数函。彦回叹息道：“虞君竟清贫到如此地步。”让人帮他扫地扫床后离去。
改任中书郎，负责东观祭酒。他哥哥虞季为上虞县令，死在任上，虞愿听说后从中书省徒步赶回家中，不等皇帝诏令批准便东归故乡。后任骁骑将军，又改任廷尉，祭酒职务不变。
虞愿曾侍奉宋明帝。齐初，宋朝神主迁到汝一一庙，虞愿流泪拜别。建元元年(479)去世。虞愿著有《五经论问》，又撰《会稽记》，有文章数十篇。