upojzsb's blog

Posted by UPOJZSB on October 12, 2020

统计学习方法读书笔记 Ch7 支持向量机（Support Vector Machine）

Statistical learning method study notes Ch7. Support Vector Machine

SVM 模型 SVM 是一种二分类模型。假设训练集中的样本是线性可分的， SVM 的目的是找到一个分类超平面，使得间隔最大化。满足间隔最大化的解是唯一的。根据模型的复杂程度，SVM可分为线性可分支持向量机、线性支持向量机和非线性支持向量机。函数间隔和几何间隔对数据进行预测，该点离分类超平面越远说明本次预测的置信度越高，反之说明置信度低。在分类超平面确定时，可以通过 $ | \o...

Posted by UPOJZSB on September 28, 2020

《信息论基础》中文第二版勘误

Mistake Correction of Elements of Information Theory Chinese Version Second Edition

书籍信息书名：信息论基础（原书第二版）原名：Elements of Information Theory, Second Edition 出版社：机械工业出版社版次：2018年6月第一版第11次印刷 ISBN：978-7-111-22040-4 第二章 P14 （2-72）下方 …如果仅当 $ \lambda = 0 $ 或 $ \lambda = 1 $，上式成...

Posted by UPOJZSB on September 17, 2020

统计学习方法读书笔记 Ch6 逻辑斯蒂回归与最大熵模型（Logistic Regression and Maximum Entropy Model）

Statistical learning method study notes Ch6. Logistic Regression and Maximum Entropy Model

Logistic 模型 Logistic 回归是一种分类模型，它针对于服从 Logistic 分布的随机变量进行建模。 Logistic 分布 Logistic 分布的分布函数和概率密度函数如下： \[P(X \le x) = \frac{1}{1+e^{-(x-\mu)/\gamma}} \\ p(x) = \frac{e^{-(x-\mu)/\gamma}}{\gamma (1...

Posted by UPOJZSB on September 16, 2020

统计学习方法读书笔记 Ch5 决策树（Decision tree）

Statistical learning method study notes Ch5. Decision tree

模型决策树是一种基础的分类和回归方法，这里仅对其分类作用进行讨论。决策树模型呈现树状结构，基于特征对实例进行分类，它可以认为是 if-then 规则的集合。下图是利用 Sklearn 实现的决策树对 MNIST 数据集进行分类的可视化结果，可以很容易的从中看出 if-then 结构。决策树由节点和有向边组成，节点分为内部节点（表示一个特征或属性）和外部节点（表示一个类）。给定...

Posted by UPOJZSB on September 14, 2020

统计学习方法读书笔记 Ch4 朴素贝叶斯法（Naive Bayes）

Statistical learning method study notes Ch4. Naive Bayes

模型朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立假设的分类算法。其接受待分类实例的特征向量作为输入，对该实例分类的结果作为输出。具体定义如下：存在随机变量 $ X, Y $ 构成联合概率分布 $ P(X, Y) $ 可以生成训练集 \[T = \lbrace (x_1, y_1), ..., (x_N, y_N) \rbrace\] 其中 $ x \in R^n , y_i ...

Posted by UPOJZSB on August 18, 2020

统计学习方法读书笔记 Ch3 k近邻法（k-nearist neighbor）

Statistical learning method study notes Ch3. k-nearist neighbor

模型 k近邻算法可以用于分类和回归问题，这里对其在分类方面的应用进行讨论。作为一种分类问题的解决方法，k近邻法接收待分类实例特征的向量作为输入，对该实例的分类结果作为输出。具体定义如下：存在训练集： \[T = \lbrace (x_1, y_1), ..., (x_N, y_N) \rbrace\] 输入实例 $ x $，其中 $ x, x_i \subseteq R^n, y ...

Posted by UPOJZSB on August 14, 2020

统计学习方法读书笔记 Ch2 感知机（Perceptron）

Statistical learning method study notes Ch2. Perceptron

模型感知机是一种二分类的线性模型，其输入为实例特征的向量，输出分类结果。具体定义如下：假设输入空间 $ X \subseteq R^n $ ，输出空间 $ Y = \lbrace +1, -1 \rbrace $ ，输入 $ x \in X $ 为输入特征的向量，输出 $ y \in Y $ 为输入向量的分类，则函数 \[f(x)=sign( \omega \cdot x+b)\]...

Posted by UPOJZSB on August 11, 2020

Modifications of This Blog

Blog

Overall This blog is developed based on Qiubaiying, and as a just-for-fun project, I have made some modifications. This post is used to record modifications to my blog. Configuration _config.ym...

Posted by UPOJZSB on January 1, 2000

CV

Curriculum vitae

Liang Zhao (赵亮) zgzhaoliang AT gmail DOT com Currently Worker. Specialized in Analysis and processing of seismic data by using different kinds of mathematical transforms. and repairing comput...