从“衤果耳卯”到藏头诗，网易易盾如何实现文本鉴黄？

今年以来，智能鉴黄行业的兴起，让传统的人工审核、鉴黄师等逐渐相形见绌，互联网创业者、中小型企业寻求第三方反垃圾云服务成为一种新的趋势。这其中凝聚着网易公司十余年反垃圾技术和安全经验的“网易易盾”成为佼佼者，并率先在全国发起成立了首个互联网内容安全联盟，在文本、图片等智能反垃圾方面树立了标杆。

仅以最基础的文本鉴黄技术，记者采访了网易易盾的工程师，为大家揭秘文本鉴黄背后的机制：

记者：文本反垃圾尤其是文本鉴黄主要在哪些场景被应用?

网易易盾：主要是在新闻、社交、论坛、博客、小说等UGC产品中的应用，除了正常产品信息，这些UGC中还存在大量的色情淫秽、广告诈骗、暴恐谣言、政治敏感等垃圾文本内容。其中广告和色情是文本垃圾的主力军。

(2015年网易323亿条反垃圾数据统计)

记者：能举个直观点的例子吗?

　　网易易盾：那就拿“裸聊”这个词来举例吧，在垃圾内容里有非常多的演变。比如下面这一系列的字符：

光一个“裸聊”就有几十种变形。但实际上在很多论坛尤其是跟帖评论区，甚至会会出现把垃圾内容隐藏在藏头诗中这样更复杂的情况。

记者：那易盾是怎么解决问题的呢?

　　网易易盾：常规的审核方法是关键词识别和算法规则，算法规则也叫规则引擎，主要就是表达式的集合，这种方式识别准确率会提高很多。但垃圾内容升级进化速度太快，复杂字符重组、特殊符号等让常规审核方法也束手无策。一方面除了要识别出垃圾文本，另外一方面不能把正常内容也判定成垃圾信息，举个比较污的例子：

比如“口交”一词，通过常规审核肯定是认定为垃圾内容，但当它出现在“港口交通”、“串口交接线”这样的语境里却是正常内容，很容易造成误判。

记者：那怎么避免或降低这种复杂语义下的垃圾文本呢?

　　网易易盾：这时候我们就要依托语义分析来处理辨别。语义分析是依托深度学习技术和大数据技术，从网易19年沉淀的亿级垃圾特征库中提取和不断添加新特征，通过反复学习更有用特征，来达到对复杂语义钟垃圾内容的精确判定。通过这两项关键技术，目前易盾文本反垃圾的准确率可以达到99.6%

记者：那怎么接入易盾呢?

　　网易易盾：很方便啊，在易盾官网10分钟就可调用接入易盾sdk和开放API， 现在七牛平台上的用户也可以直接在文本反垃圾服务中直接调用易盾接口。

与网易易盾工程师的聊天让人感叹处理垃圾的不易，10万汉字丰富的排列组合，延伸出不同语境下的复杂语义，同时演变出大量高深莫测的垃圾变种，智能反垃圾需要的是大量的、长期积累的特征库，这远非一般的创业公司所能实现。

关于深度学习，这是近两年非常热门的词汇，其具体含义如下：

据网易易盾的工程师介绍，深度学习技术之所以近两年取得飞跃，源于云计算、大数据的深入发展。他同时认为，机器智能鉴黄代替人工审核将是未来的趋势。

据了解，网易易盾自推出以来，服务的产品包括网易系过亿用户的网易云音乐、网易跟帖等知名产品，同时拥有足记、美食杰、春雨医生等海量外部客户，成为同类产品中最有实力的大企业背景第三方云服务，同时也代表着行业技术的最高水准。

（编辑：开发网_开封站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!