然后好景不长，很快燕昭王死去，太子乐资即位，称燕惠王。燕惠王从做太子时就曾对乐毅有所不满，等他即位后，齐国的田单了解到他与乐毅有矛盾，就对燕国施行反间计，造谣说：“齐国城邑没有攻下的仅只两个城邑罢了。而所以不及早拿下来的原因，听说是乐毅与燕国新即位的国君有怨仇，乐毅断断续续用兵故意拖延时间姑且留在齐国，准备在齐国称王。齐国所担忧的，只怕别的将领来。”当时燕惠王本来就已经怀疑乐毅，又受到齐国反间计的挑拨，就派骑劫代替乐毅任将领，并召回乐毅。乐毅心里明白燕惠王派人代替自己是不怀好意的，害怕回国后被杀，便向西去投降了赵国。赵国把观津这个地方封给乐毅，封号叫望诸君。赵国对乐毅十分尊重优宠借此来震动威慑燕国、齐国。
乐毅被撤后，齐国乘机与燕国交战，大败燕国，收复了全部失地，惠王这时才有些后悔，可是又怨恨乐毅投降赵国，恐怕赵国任用乐毅乘着燕国兵败疲困之机攻打燕国。燕惠王就派人去赵国责备乐毅，同时向他道歉说：“先王把整个燕国委托给将军，将军为燕国战败齐国，替先王报了深仇大恨，天下人没有不震动的，我哪里有一天敢忘记将军的功劳呢！正遇上先王辞世，我本人初即位，是左右人耽误了我。我所以派骑劫代替将军，是因为将军长年在外，风餐露宿，因此召回将军暂且休整一下，也好共商朝政大计。不想将军误听传言，认为跟我有不融洽的地方，就抛弃了燕国而归附赵国。将军从为自己打算那是可以的，可是又怎么对得住先王待将军的一片深情厚意呢？”
为了表示表示自己的诚意，惠王把乐毅的儿子乐间封为昌国君。后来燕王喜想攻打赵国，询问乐间，乐间劝阻，燕王喜不听，结果大败，割地求和，乐间也逃到赵国，惠王有点悔恨，同样写信责备说，殷纣王时，箕子不被任用，仍敢于冒犯君王，直言谏诤。商容因劝谏纣王而被贬，身受侮辱，直到国家不可救药，两位才辞官隐居，成就了美名，而你呢？我不像纣王那样凶残，国家也不像殷那么严重，常言道，家庭内部有了纷争，不尽述自己的意见，却去告诉邻里，我认为是不可取的。”乐毅为了活命，逃命江湖，这没错，可身为臣子，沐浴皇恩，却不能精忠报国，君非殷纣王，臣却不是比干，燕王不满乐家父子有错么，同样没错，身为帝王顾全的是国家的强大，乐毅身为一员罕见，关乎国家的安慰，若不能精忠报国，身为帝王有些提防也是应该的，可见这事儿上燕王有错么，没有错，或者说有错也不算错了。
昔日淮阴侯为平民百姓，其性格放纵而不拘礼节。未被推选为官吏，又无经商谋生之道，常常依靠别人糊口度日，可谓是一名不值，世人无人知他韩信的大名。