#一. 背景
#二. 黑产流程 ##二.(一) 概念描述
黑产是黑/灰色产业的简称. 其通过非正当手段谋取利益, 俗称薅羊毛. 在我们的直播平台中, 黑产通过批量注册小号, 利用脚本大量刷辣条, 使得主播提升曝光的方式获取利益, 让本身是免费的辣条道具, 成为了他们赚钱的工具, 耗用的却是我们的资源;
黑产是风控的重点打击对象.
在送高能礼物时, 大量小号涌入直播间, 占用了大量系统和网络资源;
刷子在集中对于主播尤其是新人主播送道具刷人气的时候, 会集中登上七日榜等榜单, 也造成了不好的用户体验以及打破了主播间相对公平的竞争.
graph LR
a(希望赚钱)-->b(需求很多关注)
b-->c(需要推荐位)
c-->d(需要高人气)
c1(缺乏高人气能力)-->e
d-->e(特殊手段)
e-->|主播因此得以营收并, 持续投入|a
graph LR
a(发现平台机制漏洞)-->b(低成本注册小号)
b-->c(低成本刷免费道具)
c-->d(需要高人气)
c1(主播购买)-->d(大量送给主播)
d-->e(人气增高)
e-->|从主播的付费中获取利益, 并持续黑产|b
##二.(二) 关系流程图:
#三. 营收影响
##三.(〇) 更近一步看, 黑产极大程度的影响了营收, 该部分用数据支持, 推算黑产链上面的过程 ##三.(一) 小主播 通过跑数据, 处于被大批量小号刷辣条数量榜首的, 是一系列小主播, 关注数在1w以下, 但是再通过查看相关人气、营收金瓜子数据来看, 刷出的高人气难以快速转化为营收. 但是他们也占据了一定的曝光.
##三.(二) 大主播
过滤掉小主播, 发现在某一周(2019-01-23 ~ 2019-01-30)营收金瓜子排名前100的大主播中, 有93名主播存在小号疯狂刷量的现象, 在93名主播中, 其黑产刷辣条和最终转化为的金瓜子营收之间的关系大致如下
其中虚线为趋势线, 证明二者之间有一定的正相关关系
##三.(三) 用户体验
##三.(四) 小结 从全平台的主播行为分析来看, 可以关注主播几个阶段性的特征点
这里面的质量指的是主播本身及其直播内容的质量, 观众会比较关注的一些方面包括声音是否动听, 画面是否流畅, (游戏)技术是否高超,
一般来说, 正常成长起来的大主播会按照路线 高质量->高关注->高人气->推荐位->高营收 良性循环下去
但是对于黑产和使用非法手段的主播来说, 我们不排除其中难免有才华出众者迫不得以采取该手段, 来快速把自己拉升到上述良性循环链条中, 而且相当数据显示诸多(超过90%)既成大主播, 多少存在着用刷子为自己提升人气的现象, 所以会诞生以下链路 高质量->低人气->(刷子强刷)->高人气->推荐位->(用户认可)->高营收->高关注
然而黑产会造就另外链路 低质量->低人气->(刷子强刷)->高人气->推荐位->(用户不买帐)->低营收
从影响营收的角度来看, 可能存在以下几种方式的影响
#四. 风控现状 ##四.(〇) 直播风控系统当前的主要工作, 是识别出黑产注册的小号, 拦截掉他们的抽奖行为, 可以总结为断其资源来路.
##四.(一) 按接口 |title|number|else| |:—–:|:—–:|:—–:| |每日拦截量最高|1.节奏风暴; 2.小电视|小电视包括小电视类的各种| |单日最高拦截量|20亿|节奏风暴, 18年12月到19年1月持续每日10亿以上| |近半年日均拦截量|5.88亿|统计周期2018-07-02到2018-12-28|
结论
##四.(二) 按规则 |title|number|else| |:—–:|:—–:|:—–:| |规则总数|8|8为当前有效的, 总共上过16条规则| |每日拦截量最高|1.IP云主机; 2.referer异常; 3.有抽奖但无访问|前三名| |单日最高拦截量|10亿|IP云主机规则|
结论
##四.(三) 小结
拉流会使得黑产付出更多的带宽成本, 羊毛出在羊身上, 直播/用户使用的价格提升, 会大量削减黑灰产业链的发展, 当付出>回报的时候, 产业自然不存在, 或者出现新的形式
#五. 一根辣条的前世今生 ##五.(〇) 辣条对于整条链路的影响推算
综上, 黑产影响到的不仅仅是公平的竞争环境, 良好的社区氛围, 还通过一条较长的链路影响到了公司的营收, 涉及到了收益; 而风控在保护了接口稳定以及维持优质用户体验的同时, 也从一定程度上打击了黑产, 保护了营收的损失.
最后这里要给出一个推算: 辣条是黑产的切入口, 所以此时也会作为量化估计的基本单位, 衡量出我平台每被薅走一根辣条, 将会给黑产带来多少收益, 以及对我们带来多少营收上面的损失.
graph LR
a(主播)-->|开播|b(人气)
a2(刷子)-->|刷|b
b-->|突击暴张|ed(活动奖励 #流失点一#)
b-->|涨|c(推荐位)
b2(真实用户)-->|观看|c
c-->|内容优质|d(付费)
c-->|内容劣质|d2(浪费推荐位 #流失点二#)
d-->|产生|e(礼物营收)
e---ea(主播自赚)
e---eb(平台抽成)
e---ec(投入黑产 #流失点三#)
对于用户付费相关, 我们有以下结论可以作为参考:
##五.(一) 基本假设
最终的目的, 是推算出黑产每刷到一根辣条, 能给黑产带来多少收益, 以及会让我们损失多少利益
为了推算方便, 将辣条视为一种“流通货币”
其他的相关的影响, 如直播内容质量, 用户付费意愿等, 量化为价值, 转化为$x$个单位辣条
一切影响因素, 相邻层级之间的正相关关系暂时均以线性关系表达
经过相关模型推算, 为了简化计算复杂度, 假设低质量主播营收金额只有高质量主播(本应该在推荐位的主播)的占比为$rate_{anchor}$ , 经过数据推算这个值在这里取$rate_{anchor} = 0.3$ 作为折损比例.
##五.(二) 符号说明
| 符号 | 解释 | 备注 |
|---|---|---|
| $Lost_n(x)$ | 第n种营收损失 | 目前共三种 |
| $x$ | 辣条数量 | 亿元体量小, 暂也算作辣条 |
| $Mon$ | 钱 | RMB |
| $Pop$ | 人气值 | |
| $Rank$ | 人气排名 | |
| $K_{p-m}$ | 人气-金钱比例 | 每元钱能张多少人气 |
| $K_{x-p}$ | 辣条-人气比例 | 涨1人气需要多少辣条 |
| $K_{p-r}$ | 辣条-排名比例 | 上升到一定名次需要的辣条量 |
##五.(三) 公式推导
###五.(三).1 金钱和人气的关系 根据相关市场行情(某宝), 10元RMB大概可以购买5000-6000的人气值, 这里为了方便计算, 把相关数值取整数处理, 即10元RMB对应了5000人气值
\[K_{p-m} = Pop / Mon = 5000 / 10 = 500 (人气值/元)\]###五.(三).2 人气和辣条的关系 根据上述分析可以得知, 人气会受到辣条数目, 在线人数, 弹幕连接数的综合影响, 如
\[Pop(x) = K_{p-x} * x + K_2 * 在线人数 + K_3 * 弹幕连接数\]考虑到实际情况, 辣条(银瓜子)礼物影响人气的倍率是固定不变的, 所以有
\[K_{x-p} = {1 \over 1000}\]与此同时, 通过观察, 黑产在给主播刷辣条的时候, 批量小号数目大体固定, 考虑到$K_3$实际上远小于$K_2$, 并且人数稳定在80-200之间, 故选取固定值150作为参数
所以得到
\[Pop(x) = {1 \over 1000} * x + 150\]###五.(三).3 营收的损失推算
b. 定量分析
人气值-排名次序关系可以得到之间的转换系数$K_{p-r}$, 其中这个关系只关心排名较高的几名, 所以在小区间内可以近似看作线性关系, 有(数据见附件)
\[K_{p-r} = {1 \over 13551}; b_{p-r} = -25.88\]所以可以得到:
\[Rank(Pop) = K_{p-r} * Pop + b_{p-r} = {1 \over 13551} * Pop - 25.88\]并且可知, 被刷上去的推荐位的排名越靠前, 对于全局的影响越大, 所以被刷主播占据排位和对应折损率之间的关系可以拟合为
\[Rate(Rank) = -0.01 * (10-Rank) + rate_{anchor}\]带入之前的式子, 得到和辣条之间的关系
\[Rate(x) = 0.46 + {1 \over 1.3E+09} * x\]而排名数字和营收数额之间的关系, 可以用下式来描述
\[Money(Rank) = 342.98 * Rank + 12397\]以上可以得到, 营收损失即为主播的质量差导致的金钱差值, 即为
\[Lost_1(x) = 2.04*10^{-13} * x^2 + 3.93*10^{-5} * x + 1622\]b. 定量分析 上述的表达式, 又相关活动的数据综合给出为:
\[Lost_2(x) = 0.0685 * x + 666.2\]综述,
\[Lost(x) = \sum_{i=1}^3{k_i*Lost_i(x)}\]其中三个损失营收函数前面$k_i$为比例系数, 且应该满足
\(\sum_{i=1}^3{k_i} = 1\) 在条件均等条件下, 或者条件未知的情况下, 即在没有明确主播有意刷哪种营收更多的情况下, 考虑一根辣条的流向最终将会消亡, 所以取 \(k_1 = k_2 = k_3 = {1 \over 3}\) 有 \(Lost(x) = 6.8*10^{-14}*x^2 + 0.0228 * x + 762.8\)
##五.(四) 计算影响
###五.(四).1 单直播计算 对于直播间 roomid = 60895 刷辣条量存在异常
| 日期 | 辣条量 | 影响的营收数额 |
|---|---|---|
| 20190124 | 7213 | 927.2917786 |
| 20190125 | 5571 | 889.8399045 |
| 20190126 | 5347 | 884.7310415 |
| 20190127 | 5356 | 884.936307 |
| 20190128 | 5552 | 889.4065608 |
| 20190129 | 3912 | 852.0040065 |
| 20190130 | 3579 | 844.4099103 |
| 20190131 | 3492594 | 88688.72794 |
###五.(四).2 风控拦截总量计算
风控每天拦截的小电视抽奖, 刚好拦住了刷子们生产辣条, 辣条有效期30天, 刷子们为了避免被封, 平滑送礼, 所以当天的拦截量平分成30份, 则可以当作是送辣条量
| 日期 | 拦截领取辣条 | 辣条分30天送完 | 挽救营收数额 |
|---|---|---|---|
| 20190211 | 359371869 | 11979062.3 | 563368.1836 |
| 20190212 | 334558403 | 11151946.77 | 339596.0096 |
| 20190213 | 306429762 | 10214325.4 | 304595.4806 |
| 20190214 | 299727953 | 9990931.767 | 296432.7722 |
| 20190215 | 237853001 | 7928433.367 | 224275.9186 |
| 20190216 | 275453654 | 9181788.467 | 267435.1399 |
| 20190217 | 207347235 | 6911574.5 | 190830.2048 |
#六. 补充与展望 ##六.(一) 不足
##六.(二) 方案及评估
###六.(二).1 方案描述
###六.(二) 效果预估
| 日期 | 黑产辣条 | 预估未来风控控制量(RMB) | 现行风控控制量(RMB) | 较现有系统的增长率 |
|---|---|---|---|---|
| 20190211 | 49718798 | 371464.0153 | 1134519.488 | 150% |
| 20190212 | 35473587 | 339596.0096 | 809646.1531 | 142% |
| 20190213 | 29468916 | 304595.4806 | 672713.1372 | 145% |
| 20190214 | 18785698 | 296432.7722 | 429100.7118 | 169% |
| 20190215 | 17688351 | 224275.9186 | 404078.4785 | 156% |
| 20190216 | 33825983 | 267435.1399 | 772073.0178 | 135% |
| 20190217 | 24673859 | 190830.2048 | 563368.1836 | 134% |