Знищення євреїв німці планували одразу після того, як окупували Київ. В 20-х числах вересня 1941-го року тут почали облаштовувати місця для розстрілів. Перед початком робіт було знищено два циганські табори. Один в Дарниці, а один поруч з яром. Також були розстріляні євреї-біженці з інших місць, які також розбили табір неподалік від цих місць.

27—28 вересня окупаційна влада видала наказ, згідно з яким 29-го числа євреї до 8 години ранку мали зібратись у призначеному місці з документами та речами. За невиконання передбачався розстріл. Міські стовпи та стіни були обклеєні двома тисячами таких оголошень. Одночасно поширювалася дезінформація про те, що влада буцімто збирається провести переселення євреїв. Більшість з тих, хто прийшов, становили жінки, діти та старі. Чоловіки були на фронті. Крім євреїв були представники інших національностей, було чимало інтернаціональних сімей. Нацисти не розподіляли приречених на євреїв, українців чи росіян. Адже керували розстрілами чиновники-бюрократи, яким потрібно було відзвітувати перед Берліном про реалізацію проекту винищення євреїв. До столиці Рейху загальні цифри йшли як дані по вбитим іудеям. За спогадами свідків, люди клали документи на столи, а писарчуки просто ставили галочки у себе в паперах, щоб потім підрахувати загальну кількість розстріляних. Згодом документи були спалені.

На перетині вулиць Дорогожицької та Мельникова було облаштовано перший пропускний пункт зі шлагбаумом, за який нікого не пускали. Нині це місце поруч з Інститутом міжнародних відносин. Було, ймовірно, ще кілька подібних пунктів. Охорону цього місця несли поліцаї. Трохи далі було облаштовано канцелярію. По черзі за пропускний пункт відводили групи людей, де у них відбирали речі і деяких примушували роздягатися повністю, деяких до спідньої білизни. Потім поліцаї за допомогою палиць заганяли людей в проходи в насипу на краю яру. На протилежному боці був розташований кулеметний розрахунок. Яр наповнювався криками та галасом, плачем людей, які в останню хвилину зрозуміли що привели їх не для переселення, а для вбивства. На дітей навіть не витрачали кулі, а просто скидали їх у яр, глибина якого була 50—60 метрів.

Постріли заглушалися музикою з патефонів і шумом літака, який кружляв над яром. Після того, як рів заповнювався 2—3 шарами трупів, зверху їх присипали землею. Масові страти продовжувалися аж до відходу німців з Києва.

Однією з найтрагічніших сторінок Бабиного Яру був розстріл в січні 1942 року 65 матросів Дніпровського загону Пінської військової флотилії. Їх босих та майже голих у 37-градусний мороз прогнали від Хрещатика до Яру. Німці хотіли показати, яка нікчемна Червона армія та як легко «вища раса» їх подолає. Для цього навіть було зроблено виключення з правил. Адже в морози окупанти припиняли розстріли. Ледь живі матроси, йдучи Хрещатиком, співали гімн Радянського Союзу та «Розкинулось море широко». Їх розстріляли у Бабиному Яру. Самі німці були шоковані поведінкою моряків.

За словами старшого наукового співробітника Державного архіву міста Києва, києвознавця, багаторічного дослідника історії Бабиного Яру Сергія Карамаша, за різними підрахунками в Бабиному Яру в 1941—1943 р.р. було розстріляно близько 100 тисяч людей різних національностей, в тому числі десятки тисяч українців: «В Бабиному Яру було знищено під корінь три хвилі київського підпілля. Адже в той час, як не прикро констатувати, серед сил спротиву було дуже багато зрадників. Тому підпільні групи ледь встигали організовуватись, як їх одразу викривали. Також було знищено кілька тисяч людей, які ходили містом в комендантські години. Навесні 1942 року розстріляли близько 800 пацієнтів психіатричної лікарні ім. Івана Павлова, яка знаходилася в безпосередній близькості до яру».

Окрім того, чимало людей загинуло у Сирецькому пересильному таборі шталаг, з якого полонених розподіляли по концтаборах. Він був облаштований на місці військового табору частин РСЧА (колишній «дореволюційний» військовий табір) Тут перебували комуністи, комсомольці, підпільники, військовополонені та інші. За словами Сергія Карамаша, керував табором штурмбанфюрер СС Пауль Радомський, допомагав йому роттенфюрер СС Фрідріх Рідер; вони вдвох керували розстрілами кожного десятого полоненого. До речі, Сергій Карамаш знайшов відомості, що саме Радомський планував збудувати у Бабиному Яру миловарний завод для виготовлення мила з людського жиру. Нелюд сподівався, що цю місцину йому згодом вдасться викупити, оскільки людське життя нічого не вартувало, і планував створити тут досить прибутковий «бізнес». Була у нього й вівчарка на прізвисько Рекс, яка за наказом господаря розривала людей на шмаття.

Всього в Сирецькому концтаборі, згідно з останніми відомостями з німецьких архівів, загинуло до трьох тисяч чоловік.

Відступаючи з Києва і намагаючись приховати сліди злочинів, нацисти в серпні — вересні 1943-го частково знищили табір, відкопали і спалили на відкритих «печах» десятки тисяч трупів, кістки перемелювали на привезених з Німеччини машинах, попіл був вивезений та розсипаний. У ніч на 29 вересня 1943 року в Бабиному Яру спробували організувати втечу в’язні, зайняті на роботах біля печей. Всього 329 ув’язнених-смертників. Але задум провалився, врятувались всього 14 чоловік, решта були розстріляні. Ті, що залишились живими, виступили свідками спроби нацистів приховати факт масового розстрілу.

Після звільнення Києва Червоною армією 6 листопада 1943 Сирецький концентраційний табір використовувався як табір для німецьких військовополонених до 1946 р. Після цього табір був знесений, а на його місці наприкінці 1950-х — початку 1960-х був побудований житловий масив Сирець і розбитий парк ім. 40-річчя Жовтня (тепер Сирецький парк).

У 60-х роках було проведено всесоюзний конкурс на кращий пам’ятник жертвам Бабиного Яру, у якому переміг проект скульптора Лисенка.
Частина яру збереглась і до наших днів. Тут встановлені обеліски та пам’ятник. Нині Бабин Яр — Національний історико-культурний заповідник.