支持向量分类实用指南

说明:本文翻译总结自 Chih-Wei Hsu等的论文 A Practical Guide to Support Vector Classification. 该论文也是libsvm的指导教程,在libsvm的homepage上可以下载阅读。

1 Introduction

  • SVM在数据分类上是很有用的工具。
  • 虽然它比神经网络更易于使用,但不熟悉的使用者在第一次使用时往往得不到好的结果。
  • 一个分类任务需要把数据分成训练集和测试集。
  • 给出训练集的样本对\( (x_i,y_i),i = 1, ...,l , x \in R^n, y \in {1, -1}^l \) 求解最优化问题: \( \min \limits _{ w,b,\xi } { 1 \over 2 } { W^T W + C \sum \limits _{i = 1}^l \xi_i } \) \( \quad subject \ to \quad y_i (W^T\phi(X_i)+b) \ge 1-\xi_i , \xi_i \ge 0\)
  • 四种基本核函数:
    • 线性: \( K (X_i, X_j) = X_i ^TX_j \)
    • 多项式: \( K (X_i,X_j) = (\gamma X_i^TX_j + r)^d , \gamma > 0\)
    • 径向基函数(RBF): \( K(X_i, X_j) = e^{-\gamma||X_i - X_j||^2}, \gamma > 0 \)
    • sigmoid: \(K(X_i,X_j) = tanh(\gamma X_i^TX_j +r) \)

Continue reading "支持向量分类实用指南"

支持向量分类实用指南

机器学习与智能优化

注意:本文是对Machine Learning plus Intelligent Optimization章节要点的部分翻译,译文不求规范,不求顺序,只挑感兴趣的译,作为笔记之用,错误难免

KNN

KNN(最近邻)是原始且懒惰的机器学习形式:仅仅将所有训练数据存储下来。

当有新的待估计点输入时,搜寻得到存储数据中阈值最接近的K个数据点。用它们的多数的类别或者均值作为输出。简单的训练方式导致了搜寻大量数据时的漫长的响应等待。 KNN在很多实际应用中是有效的。因为输入简单通常输出也简单,这是机器学习的一个基本假设。它很像人类推理的案例学习过程。尽管简单粗暴,但它在很多情况下确实成效非凡。

  • KNN之所以实现是因为基于 Natura non facit saltus(拉丁语“自然不会跳变”)这一规律。自然万物和属性总是渐变的,而不是突变。
  • WKNN加权KNN

Continue reading "机器学习与智能优化"

机器学习与智能优化