意思是：和那些内心阴险狡诈、卑鄙无耻的人是最难相处的，和他亲近相处时他不懂得谦逊有礼对别人，别人疏远他了，他又有怨恨。“女子”也不是泛指所有女性，而是指妻妾。“难养”的养不是抚养的养，是侍候、将就、相处的意思。孔子说女子与小人难侍候难相处，是说的家庭问题，夫妻之间，主仆之间，亲近了，她（他）们会端架子；疏远了呢，又会啧有怨言。
唯女子与小人难养也。这是《论语》中饱受争议的一句话，历代对此持批评态度的学者都说这是孔子对广大下层劳动人民及女性的歧视。这是对孔子这句话的误读，首先，这句话中的小人并不是指从事生产活动的劳动人民，而是指“仆隶下人”。其次，孔子说这句话是有时代局限的，在孔子生活的时代，这是社会现实，孔子并没有贬低谁，也没有说谎话，而我们之所以对这句话大加诟病，是因为我们没有生活在那个时代，以现代人的立场对这句话的正确性评头论足，这是不科学的，因而也是有失偏颇的。
自从远古时期，母系社会被父系社会取代之后，女性的社会地位就一落千丈，并长期居于男性之下，人类告别蛮荒、走进文明，女性的社会地位也没有随着文明的到来而有所浮动。女性地位有所上升，是从近些年的女权运动才开始的。几千年男尊女卑的传统观念在人们心中根深蒂固，而男女平等的观念还不足百年，我们用不足百年的男女平等观念，要求两千多年前的孔子，是不是太苛刻了？
虽然孔子曾多次强调治理国家要实行仁政，要爱民，但并不是说所有人都是平等的。不管是“不在其位，不谋其政”，还是“君君，臣臣，父父，子子”，都揭示了一个观念，即“各在其位，各安其事”。说白了就是要扮演好自己的角色，既不能偏离，也不能越位。封建社会的“三纲”，君为臣纲、父为子纲、夫为妻纲，在当时确实起到了规范社会秩序的积极作用，这其中揭示的是一种服从与被服从的关系。虽说人们在人格上是平等的，但社会分工上的差异使得领导与被领导的关系依然存在，这其中必须得有服从，否则社会生活就无法进行。故而，孔子不可能把地位低下者与君子等量齐观。
在等级社会中，小人和女子由于其社会地位的局限，不可能有受教育的机会。在孔子退而讲学之前，就算不是“仆人”的平民子弟也没有受教育的机会。再加上活动范围小，他们的视野非常狭窄，所知有限，思想水平与道德修养高不到哪去。从这一方面看，无知蒙昧、不知学习、不求上进的人，孔子也肯定不会对他们另眼相看。
孔子认为小人与女子难养，理由是“近之则不孙，远之则怨”。先说小人，为生存身为人仆，吃饭穿衣仰仗所侍奉的主人，主人与他的“远近亲疏”影响到他的直接利益，因而他反应才会如此强烈。态度稍好，他们就耀武扬威起来，对主人加倍谄媚，距离太近了，往往会放肆而显得无礼；对他不好吧，又会觉得受到冷淡，自然会对主人心生埋怨。至于女子难养，也是由女性的从属地位造成的。在古代女性是没有自我的，“未嫁从父，即嫁从夫，夫死随子”，无论什么时候，女子都将身心全部寄托在男人身上，男人的态度如何，自然会引起她们强烈的情绪反应。你对她好，她自然要千倍万倍地对你好，距离太近了有的人就吃不消了，就想要挣脱；她把你当作自己的一切，你疏远了她，她就变得一无所有了，自然对你恨之入骨。可见，孔子说小人女子难养，并不是信口开河，事实也是如此。
经过深刻的分析，我们对这句话要作正确的理解，首先要有时代观，站在孔子的立场上去理解，肯定这句话描述的社会现象是真实存在的。接着，也认识到，随着社会的发展，孔子口中的“小人”与“女子”也发生了变化，经济独立了，人格也独立了。