右上の屋根は、遊とおなじように、吹き流しを表しています。
左側は、板築（ばんちっく）という塀などの作り方を文字にしたものです。
板築は、木の枠の中に土を入れつきかため、それを繰り返して土の塀（へい）を作る方法です。
京都のお寺などで塀を見ることができます。
板築の時に両側に板を支える木を立てます。その木には旗をつけて目印にします。
この支えとなる木のことを幹というのだそうです。（説文による）
それから、物事の中心の柱となるものを幹というのです。
右側の干は、カンという読みを表します。これは敵から守る盾（たて）のことをさします。