职场困惑求助

就职于建筑行业某单位（以下简称A），18年年底A与某上层管理部门（以下简称B）合
作项目，自己便有机会参与其中，当时的参与模式是一周参会2-3次。去年年底A和B有
意合作其他长期项目，本人就完成变成了借调给B，自己单位工作基本不再参与，但今
年年初因某些原因有意合作的这个长期项目没成功，但因为B的原因（作为管理方?整个行业环境，感觉稍微强势，对A说项目组事情多，需要我全程跟踪，私下对我说是不参
与公司工作会轻松一点）本人的工作时间却没调整，仍然不参与自己单位的工作。但因为这期间本人结婚，A单位项目负责人的态度有些变化，觉得我会因为备孕生孩子中断
项目的研究，因此一些出头露面有些许油水的工作基本不会安排，变成只负责完成本项目工作。而且更加以备孕多休息为借口不让本人回单位。

问题：最近本单位领导找谈话说让以备孕调理身体为理由退出A，回归正常回本单位上
班的节奏。

困惑1：自己回单位之后负责的工作基本上跟A是有些交集的，而且在A单位工作期间负
责人还表示如果愿意调到A，是可以想办法的，虽然有可能不会实现+自己也没有太大意愿过去，但觉得以备孕为理直接离开A，会造成后续的麻烦，毕竟之前不让回自己单位
也是考虑的个人因素的。

困惑2：自己本单位牛人较多，上升空间不大，但领导也有提过往某方向负责人的方向
培养，但这个某方向是跟A有关系的。

以备孕为理由退出，肯定会造成A的不开心，但本人也觉得长期在A待着对自己也不好，工作多数为重复劳动，学新东西的机会不多。这次自己单位领导主动提出回来，如果不回来觉得也不好，所以求助各位，此问题咋解决较好？