1560年3月兵力が2430になった時点で独立し、守備兵480の星が城を6ヶ月かけて攻略。これにより兵数1460まで減少。小寺家に従属し、三好家との関係を回復させた。次の目標は守備兵1500の常山城。郎党が一人加わり、徴兵数も50に。 1561年9月郎党の兵数が500になったところで大友と結び、三好の常山城を攻める。つり出し等を用いて7ヶ月かけて攻略。兵力は当主990、郎党260まで減少。また徴兵数は騎馬20足軽190と大幅に上昇。次に隣国の砥石山城1500をすぐに攻撃にかかる。鉄砲が1000近くあるため楽々攻略。隣の英賀城が守備兵0のため回収。星が城を三好に攻められていたため、毛利に鞍替えし、大友三好とも同盟関係に。