江苏快3分析 www.cgwyk.com

      企业正努力在产品中部署江苏快3分析,这一点是毋庸置疑的。但是,根据Gartner在2016年下半年发布的新闻稿:只有15%的企业将其大数据项目部署到生产中。“Gartner在选词时非常谨慎,这并不意味着剩下的企业没有实践,或者数据科学家没有发现使用大数据技术的优势,只是剩下的85%的项目并没有真正投入生产。

500531985_wx

问题不在于缺少大数据分析或者是大量的数据科学实验。真正的挑战是缺乏大数据自动化能力,以便将实验版本从沙箱推入功能齐全的生产环境中。

大多数人认为分析生产就是调整集群。当然,可以编写一个sqoop脚本并将表格放入一次。但是,在不影响源系统的情况下多次实现则是一个挑战。然后,必须确保构建的数据管道在由服务级别协议(SLA)设置的时间范围内提供数据。此外,数据模型需要针对用户当前正在使用的工具(如Tableau,Qlik等)进行优化,以达到用户所期望的响应能力。

在Hadoop和Spark之上使用工具进行大量的努力和改进以对大型数据集进行快速原型设计。但原型是一回事,创建每天运行而不发生故障的数据工作流程,或者在数据流作业失败时自动启用恢复,又是另外一回事。

本文作者分析了五大大数据项目夭折最常见的技术原因:

1、无法快速加载数据以满足SLA

虽然像sqoop这样的工具支持数据读取的并行化以从传统数据源获取数据到数据湖,但需要专家来使其正常工作。如何划分数据?要运行多少个容器等问题都需要专家给出合适的解决方案。如果无法正确处理并行数据的读取,则一个小时就可完成的任务甚至需要10到20倍的时间,因为大多数人不知道如何正确调整。

2、不能逐步加载数据以满足SLA

大多数企业并未将整个操作转移到大数据环境中。他们从现有的操作系统移动数据以执行新的分析或机器学习,这意味着需要在新数据到达时继续加载。问题是这些环境不支持添加,删除或插入的概念,这意味着必须重新加载整个数据集(请参阅上面的第1点),否则必须围绕一次更改捕获问题编写代码。

3、不能以交互方式提供对数据报告的访问权限

想象一下,如果有1000位商业智能分析师,他们都不想使用您的数据模型,因为他们需要很长时间才能查询。这是Hadoop的一个经典问题,也是许多公司仅使用Hadoop进行预处理和应用特定机器学习算法,但随后将最终数据集移回传统数据仓库以供BI工具使用的原因。无论如何,这个过程又为成功完成大数据项目增加了难度。

4、不能从测试迁移到生产

许多企业能够确定沙箱环境中数据科学家的新见解的潜力。一旦他们确定采纳新的分析方法,就需要从沙盒转移到生产环境。从开发转移到生产是一个完整的升降和换挡操作,通常是手动完成的。虽然它在开发集群上运行良好,但现在相同的数据管道必须在生产集群上重新优化。这种调整往往需要大量的返工才能有效执行。如果开发环境与生产环境有任何不同,则情况尤其复杂。

5、不能管理端到端的生产工作量

大多数企业都将注意力集中在工具上,因此他们的数据分析师和科学家可以更轻松地识别新的方法。但是,他们没有投资类似的工具来运行生产环境中的数据工作流程,因此不得不担心启动、暂停和重新启动过程,还必须担心确保作业的容错性,处理通知以及协调多个工作流以避免“冲突”。

因为上述五大技术原因,导致很多大数据项目并没有如期与我们见面。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-04-16 10:06:05
云资讯 大庆市云计算大数据产业工作会议召开
4月13日,大庆市召开云计算大数据产业工作会议,系统总结大庆市大数据云计算产业发展情况,安排部署下步工作任务。市委常委、常务副市长何忠华出席并讲话,副市长于宸、安 <详情>
2018-04-16 09:34:00
大数据资讯 全国城市农贸代表团参观眉山农业云大数据中心
12日上午,由全国城市农贸中心联合会主办,眉山市商务局、眉山圣丰农产品批发市场投资有限公司承办的第十四届全国农产品批发市场联络员大会在眉山举行,来自全国城市农贸中 <详情>
2018-04-16 09:31:00
大数据资讯 上海市大数据中心揭牌 用“数据跑路”替代“群众跑腿”
上海市大数据中心12日正式揭牌。作为“智慧政府”的基础设施,上海将依托大数据中心这个城市数据枢纽,打破部门“数据孤岛”,推动政务服务从“群众跑腿”向“数据跑路”转 <详情>
2018-04-16 09:28:00
大数据资讯 国家健康医疗大数据中心落户长乐 用地1000亩
福州的大数据产业正加速发展。昨日,国家健康医疗大数据中心与产业园建设试点工程(福州园区)挂牌仪式在长乐举行。 <详情>
2018-04-13 15:06:35
大数据资讯 上海大数据中心揭牌成立 今年建成政务“一网通办”总门户
让群众少跑腿,让数据多跑路,实现从“找部门”到“找政府”的根本转变。上海市政府今天下午发布《全面推进“一网通办”加快建设智慧政府工作方案》。 <详情>