1、机器学习最重要的任务就是根据已有的一系列证据（例如训练样本）来对未知变量（例如类别标记）进行估计和推测。2、概率图分为两类： 　　1）、使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网（Bayesian network）。 　　2）、使用无向图表示变量间的相互关系，称为无向图模型或马尔可夫网（Markov network）。3、隐马尔可夫模型（Hiddden M

1、贝叶斯决策理论（Bayesiandecisiontheory）是概率框架下实施决策的基本方法。2、欲使用贝叶斯判定准则来最小化决策风险，首先要获得后验概率P。3、极大似然估计（MaximumLikelihoodEstimation，简称MLE）是根据数据采样来估计概率分布参数的经典算法。

1、支持向量（support vector）:就是距离超平面最近的几个训练样本点使得满足某方程式的成立。个人理解就是超平面一侧的点（距离最近）与超平面另外一侧的点（距离最近）其绝对值是相等的。而这个方程式有两个关键量：w=（w1,w2..）法向量、b位移项。2、二次规划（Quadratic Programming，简称QP）是一类典型的优化问题，包括凸二次优化和非凸二次优化。在此类问题中，目标函数

第一步登录https//pypi.org/project/matplotlib/#files

第一步登录网址https//www.lfd.uci.edu/~gohlke/pythonlibs/  下载你需要的版本；

目录

DBSCAN(DensityBasedSpatialClusteringofApplicationswithNoise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

主要分为两大类agglomerative（自底向上）和divisive（自顶向下）。首先说前者，自底向上，一开始，每个数据点各自为一个类别，然后每一次迭代选取距离最近的两个类别，把他们合并，直到最后只剩下一个类别为止，至此一棵树构造完成。

本文来自阅读机器学习实战过程中做的笔记，可能有点多，因为写的太好了，没忍住就记录下来，方便以后电子复习。

1、假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。