Сколотив шайку, куда взял своего брата Дэна и двух приятелей, Джо Бирна и Стива Харта, он скрылся в буше и стал бандитом. На следующий год в перестрелке у ручья Стрингибарк Нед убил трех полицейских, потом подстерег поисковую группу полицейских и убил троих из четырех. С той поры банда Келли стала достоянием австралийского фольклора. Общественное мнение в отношении них разделилось: высшие классы видели в Неде жестокого и кровожадного разбойника, в то время как для городских и деревенских работяг он стал кумиром.
Нед считал себя современным Робин Гудом, ненавистником полиции и защитником свободных, но угнетенных масс от притеснений английских господ. Налеты Неда были всегда дерзкими и отчаянными. Вместо того чтобы просто грабить беззащитные фургоны и кареты, его банда захватывала целые поселки, обрывала телеграфные провода и перед бегством грабила все местные банки.
В 1879 г. банда укрылась в горах Уомбат, но в июне 1880 г., прослышав об измене одного из своих сообщников, в результате чего к месту их стоянки был выслан целый поезд полицейских, бушрейнджеры Келли вышли из укрытия, чтобы вступить в отрытое сражение. Казнив предателя, они захватили деревню Гленрован в Виктории, взяли всех жителей в заложники и разобрали железнодорожную ветку, по которой к ним двигался состав с карательным отрядом.
Один из заложников тем не менее уговорил сердобольного Неда разрешить ему сходить по нужде. Он тут же бежал и предупредил машиниста паровоза о повреждении путей. Между засевшими в городской гостинице ребятами Келли и полицейскими разгорелась яростная перестрелка, которая длилась всю ночь до рассвета. Раненый Нед скинул самодельную кольчугу и предпринял попытку бегства. Но он сразу же был схвачен полицейскими, которые поначалу решили, что перед ними явился призрак. Неда поразили штыками, но не убили. Полицейские подожгли гостиницу и трое оставшихся в живых дружков Келли предпочли сгореть заживо, но не сдаться.