Masjid Cheng Ho didirikannya bertujuan untuk meningkatkan tali persaudaraan antara warga Palembang dengan Orang Tionghoa. Sekaligus juga digunakan sebagai tempat beribadah dan mendalami agama Islam.
Nama Cheng Ho sendiri diambil dari nama salah satu panglima angkatan laut. Beliau berasal dari Tiongkok dan memerintah sejak abad ke-15. Meskipun berasal dari keturunan Tiongkok ia adalah umat Muslim yang memperkenalkan agama Islam di wilayan yang disinggahi.