达卡人技术博客™
        dakaren技术博客,博广天下–源码算法|图像增强|经验总结|设计方案|学习教程！ >>> 本站作为一个技术站点，并不是简单复制转载一些文章而已，所以不可能每天都更新，也没有那么多精力，希望体谅，但我们会努力和大家交流最有用的东西。也欢迎您来稿来信，共同进步。谢谢dajia's支持! 给大家推荐一个不错的CV网站>>计算机视觉论坛：http://cvchina.net

先提供一个 libsvm 2.6 的程序源码注释http://www.pami.sjtu.edu.cn/people/gpliu/document/libsvm_src.pdf，大家先看看，具体的算法分析以后再写，最近比较忙！ 本文中提到的算法是 Platt 在1998年提出、由 Fan 等人于2005年改进的序列最小最优化(Sequential Minimal Optimization,SMO)分解方法，程序源码参考libsvm-2.8.3 （http://www.csie.ntu.edu.tw/~cjlin/libsvm/）。 参考文献 1 J. C. Platt. Fast training of support vector machines using sequential minimal optimization. In B. Sch¨olkopf, C. J....

名词解释1——支持向量机：“机（machine，机器）”实际上是一个算法。在机器学习领域，常把一些算法看作是一个机器（又叫学习机器，或预测函数，或学习函数）。“支持向量”则是指训练集中的某些训练点的输入 xi 。它是一种有监督（有导师）学习方法，即已知训练点的类别，求训练点和类别之间的对应关系，以便将训练集按照类别分开，或者是预测新的训练点所对应的类别。 名词解释2——符号函数：sgn(a) = 1, a >= 0;sgn(a) = -1, a < 0. 一般地，考虑 n 维空间上的分类问题，它包含 n 个指标和 l 个样本点。记这 l...

机器学习(Machine Learning, ML)的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它（这种关系）能够对未知输出做出尽可能准确地预测。机器学习至今没有一个精确的公认的定义。作为人工智能(Artificial Intelligence, AI)的一个重要研究领域，ML的研究工作主要围绕学习机理、学习方法和面向任务这三个基本方面进行研究。模式识别、函数逼近和概率密度估计是三类基本的ML问题。 从数学的角度来考虑，机器学习问题就是已知n个独立同分布的观测样本，在同一组预测函数中求一个最优的函数对依赖...

统计学习理论（Vapnik V N, 许建华 张学工译, 电子工业出版社, 2004）是SVM的坚实的理论基础，其作者指出，在可以只用几个变量描述的简单世界中，传统的科学哲学的目标是“发现普遍的自然规律”。但是，这一目标在需要用很多变量描述的复杂世界中不一定可行。因此，在一个复杂世界中，我们需要放弃寻找一般规律的目标，而考虑其他目标。 在Vapnik的The nature of statistical learning theory(1995年)一书中，作者对复杂世界的推理提出了如下法则：“在解决一个感兴趣的问题时，不要把解决一个更一般的问题作为一个...

名词解释： (1) SVM（Support Vector Machine）是从瓦普尼克（Vapnik）的统计学习理论发展而来的，主要针对小样本数据进行学习、分类和预测（有时也叫回归）的一种方法，能解决神经网络不能解决的过学习问题。作者以为，类似的根据样本进行学习的方法还有基于案例的推理（Case-Based Reasoning），决策树归纳算法C4.5等，以后将详细阐述这两种方法。 (2)过学习问题：训练误差过小导致推广能力下降，即真实风险的增加。 (3)推广能力：generalization ability，也可以说是泛化能力，就是对未知样本进行预测时的精确...