Конкретное определение проблемы вы сами написали- желание отдалиться от человека и страх.

Любые взаимоотношения, это работа, в большей или меньшей степени. Периоды сближения и отдаления всегда будут. Относиться спокойнее к отношениям. Сближаясь не переходить через черту, когда Вами критично могут воспользоваться. Ответственность должна быть в отношениях, возможно она и пугает, но определённого рода ноша в доверительных отношениях присутствует, её приходится нести, если есть силы и желание иметь отношения.