技术:星图数据:大数据在花费行业的应用

本篇文章771字，读完约2分钟

星图数据技术团队的前身是在美国加利福尼亚州成立的bdtac团队，其核心成员来自usc和cmu等大学，专注于大数据的尖端技术和应用。 年初，星图数据的国内研究开发团队完成，在最高科学家糜烂万军博士的帮助和指导下，在bdtac团队的技术研究和积累的基础上，经过几个月的本土化和领域化，成为现在星图数据两个系统的里程碑版， 即开发了基础的大规模数据收集和存储系统inebula和中台的大规模数据解决分析引擎warpengine，并在此基础上逐步开发了行业企业云服务产品线。

inebula是一种比较网络大容量新闻的实时监视和数据检索系统，通过分布式奇偶收集和智能分析，从通常的监视或定向的网页中提取结构化数据，动态地址池、智能 现在，inebula每分钟获取的页数平均在50000页以上，每天标准获取和存储的网络数据超过了3tb。

中台大数据解决和分析引擎warpengine首先完成数据的清洗发掘、qc和标准化、建模计算和语义分析。 通过应用hadoop平台上的各种技术和机器自学技术，现在warpengine每分钟解决的数据超过了6000万条。

星图数据的云服务产品线现在在线上有d-matrix、skyscope、atom.power三种产品，使用主要的lnmp架构提高了产品系统的效率和可扩展性。 其中，数据库的主从方法和redis热数据缓存的应用提高了大数据产品在云服务中的负载水平，更快。 数据可视化部分采用了现在主流的chart图手法，使数据的使用更加方便，更加生动。

星图数据创立仅几个月，就被评为中关村高新技术公司，企业所有系统和产品已经申请了相关国家知识产权的认定，其中很多已经由国家颁发了证书。 从初期就聚焦于尖端大数据技术的自主开发和创新，到目前领域的落地应用和公司云服务的宣传，星图数据走出了自己的技术产业化创新之路。