阿骨打回到部落沒多久，適逢部落聯盟長烏雅束去世，在眾人的推舉下，阿骨打成了新一代的部落聯盟長。
經過阿骨打之前三四代聯盟長的苦心經營，生女真各部已經初步完成了內部的一統，人口有五六十萬之眾，廣泛地分布于遼國的東北邊陲的廣大地區，顯然已經成為遼國的腹心之患。天祚帝君臣已經注意到了這一點，所以急于除掉阿骨打，三番兩次想讓阿骨打到上京來接受冊封，以借機除掉阿骨打。
留給阿骨打的時間不多了，他準備先聽一聽大伙的意見。阿骨打（漢名“完顏旻”）有一個三十多歲的堂侄名叫粘罕（另作“粘沒喝”），漢名作“完顏宗翰”，此人最是雄武多智略，阿骨打一向非常器重他，在會議時粘罕便建言道：“撐船時迎著風向走，到大土坡上運送石頭，這樣的舉動就是離禍患不遠了！如今我們不如乘遼國不備，把分散各地的勇士們集合起來，等待機會以建立咱們自己的國家！”
經過阿骨打同手下的一班兄弟、子侄、部屬的商議（其中的核心人物被稱作“郎君”，包括粘罕、阿忽、兀室等幾個心腹重臣），他們最終斷然決定“先下手為強”：與其坐等遼國集中力量來消滅自己，倒不如先打遼國一個措手不及。
這年秋天，一班遼國的官員又來到女真各部勒索供物，還公然索要女真姑娘陪睡，一時間民情洶洶。阿骨打覺得民氣可用，于是鼓動大家起而誅殺這幫遼國蛀蟲，結果在不到一天時間里，附近的女真各部就殺掉了數百員遼國的官吏和兵丁。
眾人很快就齊集到阿骨打身邊，清點人數后得可用之兵為二千五百人，為了適應將來連續作戰的需要，阿骨打按照三百戶為謀克、十謀克為猛安的定制將這匹人馬及其家屬編組起來，這就是未來金國實行的“猛安謀克”制度的雛形。
在祭告天地、執梃誓師時，意氣風發的阿骨打向大家申明道：“你等同心協力，奮勇殺敵者必有厚賞，奴婢若有功者，可以成為平民；平民有功者，可以授官；原有官職者，則可按照功勞大小來晉升。若是來日我阿骨打違背誓言，自己就身死梃下，家屬亦不得赦免！”
女真部朝氣蓬勃且英勇善戰，打了遼國一個措手不及，很快就占領了寧江州。在此后的出河店一役時，三千七百人的女真軍大膽迎戰萬余人的遼國精銳，結果在突然襲來的大風幫助下，一舉重創了陣腳大亂的遼軍，得以繳獲了大批軍需物資。此戰令阿骨打部威名大振，其他女真部望風來投，部伍很快就增加到了一萬人。
部伍人馬已經滿萬，這對女真人及阿骨打是一個很大的鼓舞，為此眾人向阿骨打建議道：“如今我女真人已經滿萬，再不懼被契丹人分而治之了，為凝聚人心及統一號令，進而掃滅遼國，您當稱帝建國！”
阿骨打接受了建議，最終于起兵次年的正月初一日在阿什河畔登基，正式稱帝建國，國號“大金”。女真的發祥地是出產黃金的地方，而黃金又有一種特別的寓意，為此阿骨打在詔書中向臣民解釋國號時稱：“遼朝以鑌鐵為號，取其堅也。鋼鐵雖堅，終亦變壞，惟金不變不壞。”