天极大咖秀

登录 | 申请注册

黑科技‘黑’在哪儿,为啥海鑫科金能搞定亿级海量数据分析

大数据在线 2020-05-18 阅读: 9,074 次

【导语】指纹等生物特征的对比、识别,通常需要建立起亿级规模的生物特征系统库,加上日常的数据存储、分析、对比,使得指纹系统库在性能、成本、容量上面临很大的挑战。如今,一项黑科技的出现,让这些挑战已经彻底消除。预知缘由,请阅读下文。

一直以来,指纹比对都是刑侦破案的重要手段。

早在1000多年前的宋代,被尊为“世界法医学鼻祖”的宋慈就在他的作品《洗冤录》中介绍了大量根据采集指纹破案的例子,也成功开创了“法医鉴定学”。到了南宋时期政府还建立起了古代的“指纹数据库”,有专门的机构管理和研究指纹。

黑科技‘黑’在哪儿,为啥海鑫科金能搞定亿级海量数据分析

不过虽然指纹比对古已有之,但通常还只是基于传统肉眼识别方式来判断,效率低、误差高,所以也仅作为辅助破案手段来使用。不过到了现在,指纹识别技术有了翻天覆地的变化,在科技的支持下,指纹识别已经成为了具备成熟度高、采样简单、不易伪造等多种优势的刑侦技术。甚至对于许多案件来说,只要通过对现场和人员采集的指掌纹数据进行比对,就可以迅速确认人员的身份信息。

比如曾经轰动全国的“白银连环杀人案”——从1988年至2002年的14年间,在中国甘肃省白银市有11名女性惨遭入室杀害的案件,作案手段残忍,极具隐蔽性,造成巨大的社会恐慌。直到28年后的2016年,公安机关在指纹识别上获得了突破,“利用新科技手段对原有生物物证再利用”,在海量信息中找到关键信息,才将“恶魔”绳之以法。

那么,如此神奇的指纹破案,是借助什么设备实现的呢?

传统指纹系统库面临三大挑战

一直以来,为了保障人民群众的生命财产安全,他们采集指掌纹方面进行了大量的工作,通过案件现场指掌纹信息、人员捺印指掌纹数据、社会指纹数据等数据的采集、融合、共享渠道,刑侦指掌纹比对系统的中心库容不断增长,数量级达到百万级、千万级乃至亿级大库的规模。

虽然这些数据看似庞大,但要想真正利用起来,还面临着诸多挑战。首先是指纹存储系统的负载能力不足。随着全国二代证指纹、海关网吧驾校等指纹数据数量的不断增加,原有的指纹系统库由于扩展性不足无法进行平滑扩容,造成了处理能力下降。

黑科技‘黑’在哪儿,为啥海鑫科金能搞定亿级海量数据分析

其次,在引入了大量的指纹数据后,不少指纹图像的质量尤其是社会指纹数据无法满足刑侦标准,造成了特征提取和比对的精度下降,这一点就需要对现有数据进行筛选、清洗和重新录入。这种繁琐的重复性劳动同样需要一台性能强大的计算机来实现。

最后,面对云计算、大数据等挑战,相关系统也正在努力上云,而如何选择高效的云平台解决方案,如何保证原有系统平滑、顺畅实现数据迁移,如何让新凭条具备高效、稳定、可扩展等特性,同样成为了指纹系统库改造的新难题。

黑科技‘黑’在哪儿,为啥海鑫科金能搞定亿级海量数据分析

这也就体现出了海鑫科金的优势所在。作为国内指掌纹技术领域的翘楚,海鑫科金为全国大部分的刑侦指纹用户提供了技术支撑。考虑到用户在掌纹比对等方面的全新计算需求,海鑫科金还与英特尔展开合作,共同探讨具备性能出色、功能先进、运行稳定的解决方案。

新至强平台让指纹对比更准确、更快速

为什么指纹识别需要强大的计算能力呢?是否因为指纹的数量太多?或者是指纹的图形架构比较复杂?其实并非如此。具体说来,相比人脸识别等其他特征识别技术来说,指纹比对又是一种典型的CPU及内存密集型算法——指纹系统从现场采集的原始指纹数据,经过预处理和特征提取之后,会形成结构化的点集,再将其与后台数据库中百万量级的指纹实例进行比对,这时就会涉及大量的逻辑判断分支。如此一来,解决方案的性能会严重依赖于内存资源的可用性,同时对通用计算内核的性能需求也非常高。

由此也对指纹数据库的计算性能提出了严峻的考验。为此,英特尔和海鑫科金技术团队选择了第二代英特尔至强可扩展处理器作为目标平台的核心支柱。相对于系统原本使用的英特尔至强E5 v4平台来说,新平台无论在微架构、核心数量还是在内存容量上都有了明显的提升,这也提高了系统吞吐量,加速了计算效率。

黑科技‘黑’在哪儿,为啥海鑫科金能搞定亿级海量数据分析

不过要想获得更快的指纹鉴定速度,这些配置还远远不够。刚刚我们提到,目前指纹数据库的容量增长迅速,而数据量越大指纹调取的时延也越高,这就意味着指纹对比的时间也会更长。那么,能不能利用内存高吞吐量、低延时的优势,将所有数据都在内存中实现对比呢?当然可以,但这也要求更大的内存容量。

为此,英特尔和海鑫科金技术团队为这套系统配置了英特尔傲腾持久内存。借助于“内存模式”优势,可以让作为英特尔傲腾持久内存以 “准内存” 的审问运行在系统中,部分地取代传统内存,从而大大扩展了内存容量,不仅大大降低了原方案中内存的采购成本,也让指纹数据的本地化对比变得更加高效。

黑科技‘黑’在哪儿,为啥海鑫科金能搞定亿级海量数据分析

我们可以很明显的从这张图中看到不同系统平台的差异化。得益于英特尔傲腾持久内存的加速作用,使得系统性能有了26%的提升,而系统延迟基本保持不变。“当数据查询的并行进程达到4个以上时,傲腾方案的数据读取性能就可以达到 DRAM的90%以上,而且并行进程越多,傲腾方案的性价比优势越明显”,英特尔企业平台技术合作部门资深架构师钟涛如是说。

目前,基于英特尔新至强平台的海鑫云智能多生物识别系统 HABIS X已经用于实际的指掌纹系统当中,也获得了用户的充分肯定。以往,对案发现场的指掌纹进行特征提取和比对,这是一件极为费时费力的工作,而且遇到多人、重叠、残缺等情况。而在采用了全新的海鑫科金HABIS X方案后,可以做到 “即录(录入)、即比(比对)、即反(反馈)”,在现场当即给出比对结果,大幅减轻了基层技术人员的工作负担,提高了现场人员的工作积极性和事业成就感。

不仅如此,在提升硬件基础设施性能的同时,借助于云计算和人工智能技术,英特尔还将协助海鑫科金构建精度更高、速度更快、智能化更强的云化指纹识别系统。得益于新至强平台对于INT8新指令集优化,这套系统的深度学习精度相对以往有了大幅度的提升,算法的迭代周期也从数年缩短为数月,从而进一步提升海量指纹库的检索速度。

在高科技发展的今天,诞生了越来越多的“黑科技”装备,从无人机到智能眼镜,再到我们今天介绍的HABIS X智能多生物识别系统,这些工具的出现大大降低了案件侦破工作的强度,将工作人员从复杂的劳动中解脱出来,为我们营造更加稳定祥和的生活环境。

大数据在线
洞悉技术趋势,聚焦产业发展

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)