2021-05-16-谈谈反作弊风控的实践经验
有人的地方就有江湖，互联网行业中的黑产团伙早已见怪不怪了，产品团队精心设计的营销活动奖励全部被机器人抢走、大量账号24小时挂机薅羊毛，这些行为不仅让正常用户享受不到企业的优惠福利而且还大大损害了企业自身的利益。
这种现象在笔者就职的公司也很普遍，笔者负责反作弊项目也有一段时间了，在与黑产做攻防斗争的
...
机器学习算法系列（19）XGBoost
XGBoost是GBDT的一种高效的实现，它是由华盛顿大学的陈天奇开发的一个高度可扩展的、端到端的提升系统。近几年XGBoost在各大算法竞赛中取得的成绩一时间可谓风头无两，它取得成功背后在于它在所有场景中的可扩展性，它在处理稀疏数据上的标点也是非常强大的。
1. 回顾提升树（Boosting Tr
...
浅析Spark Architecture：Shuffle（二）
在浅析 Spark Architecture：Shuffle（一） | Thinking Realm这篇文章中我主要向大家介绍了Spark Shuffle的运行原理和随着Spark升级导致Shuffle运行机制的变化。
而这篇文章主要介绍在Spark中哪些操作会触发Shuffle、Shuffle的bypassMergeThreshold运行机制和4个与Shuffle相关的参数。
浅析Spark Architecture：Shuffle（一）
作为一个接触Spark将近一年的数据挖掘工程师，Spark在处理海量数据上游刃有余的表现就强烈的吸引着我，当我在使用Spark完成数据项目、训练模型任务的过程中通常会遇到各种各样的问题，相信这些问题每个Spark的新手都会遇到过，有的时候调高driver memory或者executor memory，又或者稍微改动一下代码然后就可以了，但是却始终对其背后的原理不甚了解，这不符合一个合格工程师的应该有的职业素养。
启动Scala REPL报错：java.lang.NoClassDefFoundError:javax/script/Compilable
启动Scala REPL报错: Exception in thread "main" java.lang.NoClassDefFoundError: javax/script/Compilable
余弦相似度与皮尔逊相关系数之间的比较
余弦相似度（也叫作余弦距离）和皮尔逊相关系数是数据挖掘中很常见的两种相似度计算方式，除此之外还有欧式距离、Jaccard距离、曼哈顿距离等计算方法。
本文主要讨论余弦相似度和皮尔逊相关系数之间的区别，首先，这两者返回的结果（相似度、相关系数）都介于0到1之间，并且都是值越大代表越相似，直觉上看起来两种算法之间并没有什么区别，然而实际并非如此，在用户的评分维度差距比较大的场景下，余弦相似度得到的结论可能不太合理，这篇文章的目的就是为了把余弦相似度和皮尔逊相似系数之间的区别解释清楚。
2019阅读记录
阅读在短期内可能不会给你的生活带来任何改变，但是只要你长期坚持下去，你会逐渐爱上这项脑力运动，它给你的回报也会越来越大。
从去年抛弃朋友圈到今年年初放弃微博，我可以说差不多已经脱离社交网络了，脱离社交网络给我的生活带来最大的改变在于我可以腾出更多的时间在阅读软件上而不是沉迷于微信微博，上半年列出的这些书大多是在通勤的地铁、午间休息和晚上下班回家之后看完的。
我爱阅读，我爱思考。
贾俊平版本统计学复习笔记
前一段时间在工作中发现自己对于统计知识的理解有点不够系统，比如我知道了解数据的形态需要从集中趋势、离散趋势以及形态方面着手，但是对于其中的细节却总是模糊的，比如我无法回答为什么通常用标准差而不是方差来反映数据的离散程度，我也无法回答泊松分布到底是个什么鬼，所以出于非应试的目的，利用差不多一个多月的业余时间，我把贾俊平编写的统计学的前半部分大致的过了一遍，从中选出几点我先前不太明白的地方记录下来，先记录这么多，以后有新的再补上。
基于Spark逻辑回归的流失预测实践
先前的一段时间接手到一个流失用户预测的活，也就是根据某个群体用户的行为数据（动态特征）、自身特征（静态特征），建立一套流失预警的分类模型，预测用户的流失概率。类似于这种机器学习任务，毫无疑问，逻辑回归算法是首选之选。因为在很多场景下的需求问题都可以很容易地转化为一个分类或者预测问题，而逻辑回归的输出
...
再见，2018
其实，年前的时候就计划着写一篇2018年的年终总结和另外一篇技术文章，奈何过年前的一段时间工作太忙，有的事情当时觉得不太方便放在年终总结里，再加上懒癌发作，后来就不了了之。正好清明节有点时间，腾出一个下午来补上之前的年终总结。
到目前为止，2019年到现在也仅仅发布了一则关于SQL优化的博文，输出量
...
查找算法（一）：查找
基于有序列表的查找。
线性查找12345def search(arr, target): for i in range(len(arr)): if arr[i] == target: return i return -1
二分查找二分查找（也称为折半查
...