python如何实现信息增益和信息增益率
python中如何实现信息增益和信息增益率
一、信息增益与信息增益率
1、信息增益
以某特征划分数据集前后的熵的差值。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分效果的好坏。
信息增益=entroy(前)-entroy(后)
注意：信息增益表示得知特征X的信息而使得类Y的信息熵减少的程度
2、信息增益率
增益率是用前面的信息增益Gain(D,a)和属性a对应的"固有值"(intrinsicvalue)[Quinlan,1993J的比值来共同定义的。
二、信息增益与信息增益率python代码实现
1、信息增益定义计算信息增益的函数：计算g(D|A)
defg(data,str1,str2):
e1=data.groupby(str1).apply(lambdax:infor(x[str2]))
p1=pd.value_counts(data[str1])/len(data[str1])
#计算Infor(D|A)
e2=sum(e1*p1)
returninfor(data[str2])-e2
print("学历信息增益：{}".format(g(data,"学历","类别")))
#输出结果为：学历信息增益：0.08300749985576883
2、信息增益率定义计算信息增益率的函数：计算gr(D,A)
defgr(data,str1,str2):
returng(data,str1,str2)/infor(data[str1])
print("学历信息增益率：",gr(data,"学历","类别"))
#输出结果为:学历信息增益率：0.05237190142858302
以上就是python中如何实现信息增益和信息增益率，希望能对大家有所帮助。更多Python学习教程请关注IT培训机构:千锋教育。
猜你喜欢LIKE
相关推荐HOT
更多>>
python中open和with open有什么区别?
python中open和withopen有什么区别?本文教程操作环境：windows7系统、Python3.9.1，DELLG3电脑。一、open函数一般是使用open()和close()组合来...详情>>
2023-11-10 23:40:58
python中使用_setattr_()
python中使用_setattr_()本文教程操作环境：windows7系统、Python3.9.1，DELLG3电脑。1、setattr函数给对象的属性赋值，若属性不存在，先创建再...详情>>
2023-11-10 22:45:02
python中如何使用np.delete()方法?
python中如何使用np.delete()方法?在python列表中，如果我们想要删除一个或者连续几个元素，可以使用del()方法，在numpy数组，如果想要删除元素...详情>>
2023-11-10 21:40:05
python中ndarray是什么?
python中ndarray是什么?在使用python的Numpy数组，时，我们总会遇到ndarray，那ndarray是什么呢?ndarray是Numpy中的一个多维数组的数据结构，在...详情>>
2023-11-10 20:08:58热门推荐
python中open和with open有什么区别?
沸python中jsonpath模块有何用法?
热python中使用_setattr_()
热如何使用Python的telnetlib模块?
新python中如何使用np.delete()方法?
python中wordcloud库如何生成词云?
python中ndarray与list转换的方法
python中ndarray是什么?
python套接字的用法
python中如何使用@contextmanage?
Python IDE之Thonny的介绍
python如何安装OpenCV?
python如何实现信息增益和信息增益率
pythonpickle模块的使用注意
技术干货
京公网安备 11010802030320号