此成语就是出自刘时中的《端正好.上高监司.既官府甚清明套.十二月》曲：“不是我论黄数黑，怎禁他恶紫夺朱？争奈何人心不古，出落著马牛襟裾。”
刘时中即为著名曲家之一。元顺帝天历二年，一江一西大旱，刘时中见到灾民受难的情况，于是作了两套散曲《端正好》，上呈一江一西道廉访使高纳麟。
第一套的内容陈述饥荒时「谷不登，麦不长」，民无以食的悲惨遭遇，而且愤怒地斥责了一奸一商富豪趁火打劫的罪行，展现元代社会严重的阶级压榨。
第二套则是揭露官吏的无能与违法乱纪。他形容一群暴发户般的官员为「没见识街市匹夫」，彼此狼狈为一奸一，勾结作恶，尽日将一精一力耗费在吃喝嫖赌，完全不顾百姓生计。并申辩说：「不是我要讲他们的坏话，但怎么能眼睁睁地看着邪恶战胜正义？根本完全丧失了旧时代的淳朴，明明是人，但行一事却如禽一兽一般。」
后来，人心不古演变为成语，用来感叹失去古人的忠厚淳朴。