北魏孝文帝太和十年，在虎牢（又作武牢，今河南成皋县西北）有一户姬姓人家，夫妻两一心向善，每天祈求诸佛菩萨保佑，希望能生个儿子，继承祖业。就这样虔诚地祈祷了一段时间，终于有一天黄昏，感应到佛光满室，不久夫人便怀孕了。为了感念佛恩，父母便给他起名为姬光，这个孩子就是慧可。
慧可在幼年时就已经具有超人的智慧，决非一般普通之孩童。十五岁时就能通读四书五经、博涉诗经，尤其精通于玄理。有一日慧可在河边行走，看见岸边有一受伤垂死的鱼，仔细一看发现鱼在哭泣。慧可大吃一惊，连忙把鱼放回水里。那鱼一进水里就好像好了一般游来游去，后又把头伸出水面，停留了一下，游走了。慧可对此大为好奇，于是四处游历寻找真相，后来接触了佛典，深感孔老之教，礼术风规，庄易之书，未尽妙理，于是便栖心佛理，超然物外，怡然自得，并产生了出家的念头。
在三十岁时对佛经有很深了解，显得超然自得，于是蒙发出家修道和研习佛法，先依洛阳龙门香山寺宝静禅师递度出家取法名神光，后于永穆寺受比丘大戒。慧可受具足大戒后游走参访，求学问道，讲经说法，遍学大小乘教义。经过多年的学习，慧可禅师虽然对经教有了充分的认识，但是个人的生死大事对他来说仍然是个迷。
三十二岁那年，慧可禅师又回到香山，放弃了过去那种单纯追求文字知见的做法，开始实修。他每天从早到晚都在打坐，希望能够借禅定的力量解决生死问题。这样过了八年。有一天，在禅定中，慧可禅师突然看到一位神人站在跟前，告诉他说：将欲受果，何滞此邪？大道匪（非）遥，汝其南矣（如果你想证得圣果，就不要再执著于枯坐、滞留在这里了。大道离你不远，你就往南方去吧）！慧可禅师知道这时护法神在点化他，于是将自己的名字改为神光。第二天，慧可禅师感到头疼难忍，如针在刺，他的剃度师宝静禅师想找医生给他治疗。这时，慧可禅师听到空中有声音告诉他：这是脱胎换骨，不是普通的头疼。慧可禅师于是把自己所听到的告诉了他的老师。宝静禅师一看他的顶骨，果然如五峰隆起，于是就对慧可禅师说：这是吉祥之相，你必当证悟。护法神指引你往南方去，分明是在告诉你，在少林寺面壁的达磨大师就是你的老师。
慧可禅师于是辞别了宝静禅师，前往少室山，来到达磨祖师面壁的地方，朝夕承侍。开始，达磨祖师只顾面壁打坐，根本不理睬他，更谈不上有什么教诲。但是，慧可禅师并不气馁，内心反而愈发恭敬和虔诚。他不断地用古德为法忘躯的精神激励自己：昔人求道，敲骨取髓，刺血济饥，布发掩泥，投崖饲虎。古尚若此，我又何人？就这样，他每天从早到晚，一直呆在洞外，丝毫不敢懈怠。
这样过了一段时间，有一年腊月初九的晚上，天气陡然变冷，寒风刺骨，并下起了鹅毛大雪。慧可禅师依旧站在那里，一动也不动，天快亮的时候，积雪居然没过了他的膝盖。
这时，达磨祖师才慢慢地回过头来，看了他一眼，心生怜悯，问道：汝久立雪中，当求何事？
慧可禅师流着眼泪，悲伤地回答道：惟愿和尚慈悲，开甘露门，广度群品。
达磨祖师道：诸佛无上妙道，旷劫精勤，难行能行，非忍而忍。岂以小德小智，轻心慢心，欲冀真乘，徒劳勤苦（诸佛所开示的无上妙道，须累劫精进勤苦地修行，行常人所不能行，忍常人所不能忍，方可证得。岂能是小德小智、轻心慢心的人所能证得？若以小德小智、轻心慢心来希求一乘大法，只能是痴人说梦，徒自勤苦，不会有结果的）。
听了祖师的教诲和勉励，为了表达自己求法的殷重心和决心，慧可禅师暗中拿起锋利的刀子，咔嚓一下砍断了自己的左臂，并把它放在祖师的面前。顿时鲜血红了雪地。
达磨祖师被慧可禅师的虔诚举动所感动，知道慧可禅师是个法器，于是就说：诸佛最初求道，为法忘形，汝今断臂吾前，求亦可在（诸佛最初求道的时候，都是不惜生命，为法忘躯。而今你为了求法，在我跟前，也效法诸佛，砍断自己的手臂，这样求法，必定能成）。达磨祖师于是将神光的名字改为慧可。
慧可禅师问道：诸佛法印，可得闻乎？
祖师道：诸佛法印，匪（非）从人得。
慧可禅师听了很茫然，便说：我心未宁，乞师与安。
祖师回答道：将心来，与汝安。
慧可禅师沉吟了好久，回答道：觅心了不可得。
祖师于是回答道：我与汝安心竟。
慧可禅师听了祖师的回答，当即豁然大悟，心怀踊跃。原来并没有一个实在的心可得，也没有一个实在的不安可安，安与不安，全是妄想。慧可禅师开悟后，继续留在达磨祖师的身边，时间长达六年之久（亦说九年），后继承了祖师的衣钵，成为中国禅宗的初祖，中国的佛教从此开始。
北周武帝宇文邕灭掉齐国后，以灭佛行动来表示尊重汉人。宇文邕说佛生于西域，他不是胡人，对它不起敬心，既然不是正教，所以该废。于是在周境内的佛像被毁，经书被焚，４万多座寺庙赐给王孙公子做宅第，300万僧人还俗，一场灭佛之灾笼罩在北周上空。刚刚接受达摩衣钵不久的慧可，正好遇上这场灭佛之灾，为了保护衣钵，慧可只好拄杖南逃，寻找避难之地。
北周灭佛，陈国避难，安徽的太湖县当时属于陈国南豫州晋熙郡太湖左县，慧可逃出了北周来到陈国太湖左县的狮子山隐居，躲避灭佛之灾和宗派的迫害长达十五年之久，等待时机成熟后，又在司空山将衣钵传给了三祖。
慧可禅师长于辞辩，他虽无意推广自己的禅法，但是知道他的禅法的人却日渐增多。随着他的影响一天天地扩大，他的弘法活动遭到了当时拘守经文的僧徒的攻击。慧可禅师遭受了非法迫害。慧可禅师却怡然顺受，曾无怨色。灯录上记载，慧可禅师活了一百零七岁，寂于隋文帝开皇十三年（593），谥大祖禅师。
