登录
首页精彩阅读基于R语言的分类算法之决策树
基于R语言的分类算法之决策树
2018-06-14
收藏

基于R语言的分类算法之决策树

ID3 《= 最大信息熵增益,只能处理离散型数据

C4.5 《= 信息增益率,可处理连续性和离散型数据,相比ID3,减少了因变量过多导致的过拟合

C5.0 《= 信息增益率,运算性能比C4.5更强大

CART 《= 基尼指数最小原则,连续性和离散型数据均可

信息熵体现的是数据的杂乱程度,信息越杂乱,信息熵越大,反之越小。 例如:拥有四种连续型变量特征变量的信息熵一定比拥有三种的要大。

特征变量的N种可能性,每种可能性的概率相同,N越大,信息熵越大。

每种可能性的概率不同,越偏态,信息熵越小。

所有特征变量中,信息增益率的,就是根节点(root leaf),根节点一般是选择N越大的特征变量,因为N越大,信息熵越大。

信息增益率是在信息熵的基础上作惩罚计算,避免特征变量可能性多导致的高信息增益。

代码相关

library(C50)

C5.0(x,y, trials = 1, rules=FALSE,weights=NULL,control=C5.0Control(),costs=NULL)

x为特征变量,y为应变量

trials 为迭代次数(这个值根据不同数据而不同,并非越大越好,一般介于5-15之间,可以用遍历来寻找最高准确率的模型,对模型准确率的提升效果中等)


cost 为损失矩阵,R中应该传入一个矩阵(据说是对准确率矩阵约束猜测错误的项,但是并没特别明显的规律,可以使用遍历来寻找最好的cost,准确率提升效果小)

costs <- matrix(c(1,2,1,2),
                ncol = 2, byrow = TRUE, 
                dimnames = list(c("yes","no"), c("yes","no")))


control 设置C5.0模型的其他参数,比如置信水平和节点最小样本等(水很深,参数很多,可以自行查阅R的帮助文档,我只设置了一个CF,准确率提升效果小)

control = C5.0Control(CF = 0.25)


library(C50)


#对iris随机划分训练集和测试集
set.seed(1234)

index <- sample(1:nrow(iris), size = 0.75*nrow(iris))
train <- iris[index,]
test <- iris[-index,]


#查看训练集和测试集分布是否合理

prop.table(table(train$Species))
prop.table(table(test$Species))


#不设置任何参数

fit1 <- C5.0(x = train[,1:4], y = train[,5])

pred1 <- predict(fit1, newdata = test[,-5])
freq1 <- table(pred1, test[,5])
accuracy <- sum(diag(freq1))/sum(freq1)

pred1        setosa versicolor virginica
  setosa         16          0         0
  versicolor      0         13         1
  virginica       0          0         8

准确率为0.9736842,只有一个错误。。。显然150个iris太少了,优化都省了。


数据分析咨询请扫描二维码

客服在线
立即咨询