都知道用crosstooc-ng等工具可以编译出一个在pc机上运行的gcc。但是如果我想在开发板上或者是我的android手机运行的gcc我应该用什么工具呢？怎么做才能编译出这样一个工具？

首先我没有用过.其次,编译过程中的种种痛苦可以很快"打怪-升级-穿装备" :)
比如这个嵌入式编译开发套件 buildroot(应该至少听说过) 
他可以实现编译运行在arm架构cpu上的本地C语言编译器(gcc).似乎不能编译C++编译器.

make menuconfig

Package Selection for the target  ---> 

Development tools  --->

gcc

If you want the target system to be able to run binutils/gcc and compile native code, say Y here.

反正其中一定会遇到种种困难,各种基础的知识.各种标准库,各种实现,操作系统,大文件支持,国际化,各种各种.

作为一名程序猿,我没有编译出一个生产上使用的交叉工具集,更别说本地编译器了.
完成这些基本上可以说LFS系统也可以简单拿下了.

总之 :good luck 祝你成功!
另外 Raspberry Pi 应该也知道吧,看看也许他的开发工具可提供本地编译器.
还有 dd-wrt 的开发工具集 可能在mips架构上比较牛逼.

lfs的姊妹版本 clfs(Cross Linux From Scratch) 绝对是你想要的东西.