Jiale Chen

The quieter you become, the more you hear

Investigation on Meta Learning

"Investigation on Meta Learning."

由于最近科研任务需要，开始关注meta learning的研究进展，发现内容繁多，方法也很多，所以写一篇调研报告帮助梳理思路。 Meta learning领域经常应用于Few-shot learning的问题，也就是如何在小数据量的问题上使模型快速收敛，这一点不管是在deep learning或者reinforcement learning领域都很重要。 那么，meta-lear...

Posted by Jiale Chen on April 30, 2018

Reinforcement Learning Algorithm 1:Prioritized Experience Replay

"Prioritized Experience Replay."

Algorithm 为了构建自己的代码库，从本周开始每周实现一个到两个经典的强化学习算法，并做一定笔记对该算法进行记录。 这周记录的算法是Prioritied Experience Replay[1]，该算法是Google在16年提出的，基本思想很简单，就是为了增加对TD-error比较大的experience的训练次数，得以让网络更好拟合环境的Reward空间。 最简单的方法是将...

Posted by Jiale Chen on April 14, 2018

LightGBM

"LightGBM."

一.Background GBDT是一种常见的机器学习算法，在很多领域有广泛的应用，例如分类问题，点击率预测等。但在数据集比较大的时候，GBDT为了找到最适合的分割点，这个过程需要扫描所有的数据，所以复杂度随着数据样本的维度和特征的维度线性增长，需要在正确率和效率上做tradeoff。为了面对这样的挑战，最直接的想法就是减少数据量和特征数量。因此微软围绕这两点这GBDT做了两点改进[...

Posted by Jiale Chen on April 2, 2018

分解机

"Factorization Machines."

在基于Model-Based的协同过滤中，一个rating矩阵可以分解为user矩阵和item矩阵，每个user和item都可以采用一个隐向量表示。如下图所示。 <img src="https://github.com/starfolder/MarkdownPic/blob/Razor_Atmel/ffm_mf.png?raw=tru...

Posted by Jiale Chen on March 24, 2018

支持向量机

"Support vector machines."

一.线性可分SVM与硬间隔最大化 给定线性可分训练数据集，通过间隔最大化，可以求解对应的凸二次规划问题得到分离超平面，以及相应的分类决策函数。即需要找到一个超平面，将两个类别区分开，SVM试图寻找一个超平面来对样本进行分割，把样本中的正例和反例用超平面分开，而是尽最大的努力使正例和反例之间的间隔margin最大以获得比较好的泛化能力。如下图：\ 函数间隔：给定超平面，关...

Posted by Jiale Chen on December 8, 2017

决策树

"Decision Tree."

一.决策树 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。相比贝叶斯算法，决策树的优势在于构造过程...

Posted by Jiale Chen on November 28, 2017

贝叶斯方法

"Bayes Methods."

一.贝叶斯方法 在贝叶斯之前，人们主要通过频率来确定一件事情的概率，而贝叶斯方法的提出改变了这种情况，贝叶斯理论提供了一种新的想法：，其中先验信息一般来源于历史资料，即频率的观点。在得到新的样本信息之后，贝叶斯认为不应仍然依据频率的观点，而是由给定x的情况下的条件概率决定，而使这个条件概率最大的称为最大后验估计，即极大似然估计。 是样本的类别集合，概率密度函数是相对于的的似然函数，...

Posted by Jiale Chen on November 26, 2017

FEATURED TAGS
Mechine Learning
ABOUT ME

Calm down and carry on.

FRIENDS