1.主要功能如下： 1.classification分类 2.Regression回归 3.Clustering聚类 4.Dimensionality reduction降维 5.Model selection模型选择 6.Preprocessing预处理 2.主要模块分类： 1.sklearn.base: Base classes and utility functio

　　sklearn是python的重要机器学习库，其中封装了大量的机器学习算法，如：分类、回归、降维以及聚类；还包含了监督学习、非监督学习、数据变换三大模块。sklearn拥有完善的文档，使得它具有了上手容易的优势；并它内置了大量的数据集，节省了获取和整理数据集的时间。因而，使其成为了广泛应用的重要的机器学习库。下面简单介绍一下sklearn下的常用方法。 1. 监督学习 sklearn.neighbors #近邻算法

  数加 数乘/积 互相加 互相乘/点积 数学向量 标量运算即为向量和数字间的运算。向量与数的运算就是向量内每一个元素与这一个数进行相应的运算。如下图的一个标量运算： 一个数乘以一个向量等于这个数同向量中的每个

机器学习--- K均值（K-Means） 假定我们有如下8个点 A1(2, 10) A2(2, 5) A3(8, 4) A4(5, 8) A5(7, 5) A6(6, 4) A7(1, 2) A8(4, 9) 希望分成3个聚类 初始化选择 A1(2, 10), A4(5, 8) ，A7(1, 2)为聚类中心点，两点距离定义为ρ(a, b) = |x2 – x1| +

支持向量机(support vector machines, SVM)     https://zhuanlan.zhihu.com/p/77750026

利用梯度下降法求解梯度的过程:           一般情况下分为三步:           1-随机一个初始值,在多元线性回归中,我们随机一组w,带入到损失函数中,得到一个初始点.           2-让这个点按照负梯度的方向运动,就是

TSS: Total Sum of Squares 总平方和(总离差平方和) ESS: Explained Sum of Squares 回归平方和(解释平方和) RSS: Residual Sum of Squares 残差平方和 TSS=RSS+ESS 其中，Yi代表观察值（实际值）， ȳ代表平均值，ŷ代表预测值  残差在数理统计中是指实际观察

前面已经讲过一元线性回归，参考机器学习--- 一元线性回归 1. 理论 现在讲讲多元线性回归， 我们之前开发的线性回归仅能处理单一的特征x，也就是房子的面积，而且我们仅仅依赖它来预测房子的价格。我们如果真的去预测一套房子的价格的话，单单依靠房子的面积肯定是不够的。因为影响房价的因素肯定不仅仅是面积。比如，有几个卧室呀，有几个卫生间呀，房龄多久了呀等等。 即:  

一元线性回归 1. 预测房价 房价是一个很火的话题，现在我们拿到一组数据，是房子的大小（平方英尺）和房价（美元）之间的对应关系，如下（csv数据文件）：   No,square_feet,price 1,150,6450 2,200,7400 3,250,8450 4,300,9460 5,350,11400 6,400,15470 7,600,1

决策数(Decision Tree)在机器学习中也是比较常见的一种算法，属于监督学习中的一种。看字面意思应该也比较容易理解，相比其他算法比如支持向量机(SVM)或神经网络，似乎决策树感觉“亲切”许多。 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失值不敏感，可以处理不相关特征数据。 缺点：可能会产生过度匹配的问题。 使用数据类型：数值型和标称型。

1 概述 贝叶斯分类算法是一大类分类算法的总称。贝叶斯分类算法以样本可能属于某类的概率来作为分类依据。朴素贝叶斯(Naive Bayes)分类算法是贝叶斯分类算法中最简单的一种。 注：朴素的意思是条件概率独立性 2 算法思想 朴素贝叶斯的思想是这样的：如果一个事物在一些属性条件发生的情况下，事物属于A的概率>属于B的概率，则判定事物属于A。 通俗来说，你在街上看到一个黑人

 python numpy 切片  对于一维数组来说，python原生的list和numpy的array的切片操作都是相同的。无非是记住一个规则arr_name[start: end: step],就可以了。 实例： step默认为1，当为负数时，表示从右到左 当start缺省时，默认为0，即 a[:3]相当于 a[0:3] 当end缺