您当前位置:网站首页 > 心得体会 > 大数据分析平台_艾晔

大数据分析平台_艾晔

经常有人问我,你在阿里做什么?

我一般回答“我做大数据分析工具”。什么是大数据分析工具呢?往下问的人并不多,弄的我准备好的一大段都咽了回去,哎!

当下的互联网公司都在如何玩大数据业务:

a专车给专车司机做车贷

b给签约餐饮美食店铺放贷款

c打车用出租车轨迹做派单优化

d外卖用骑手的轨迹做配送优化

e通过用户接入免费无线wifi后的上网行为,定向推送消费信息

f用域名,ip的变化追踪黑客团体和网络攻击事件

g用金融交易数据协助政府追踪洗钱团伙

h用社交图谱、通信记录和出行记录协助政府定位反恐头目,如:本·拉登

当下的大数据玩家都在做玩什么东东:

1. 搭建基础平台:hadoop,hive,storm,spark,impala,presto

2. 使用分析工具:tabluea,qlik

3. 使用数据挖掘和机器学习算法库写代码处理数据

对不起,我没有做上面的所有事情,但和上面做的事情都很有关系。大数据分析产品平台是什么?

在海量网页时代,雅虎的图书馆目录的检索方式被淘汰了,谷歌的文本搜索的方法一统全球。在大数据时代,传统的图表方式会被淘汰吗?从我的淘宝订单开始说这件事情,我看每月的订单最有效的方法是数据表,我看每年的订单最有效的方式是几张图,如果我看淘宝上说有的订单信息,我应该看什么呢?分维度是万能的魔法棒,大数据分析一般会建立在时间维度,空间维度、关系维度和分类维度上,简单一点说就是看看股价的k线,看看互联网公司都分布在那些城市和区域(为什么北京的互联网公司都往望京扎堆?),看看写什么专题的文章读者最该兴趣。图形在表达时间序列,空间分布,简单关系(负责关系现在几乎是无解),分类比较上有天然的优势,本质上是图形对数据的压缩方法很有效,人眼睛对图形的识别方式很高效。但是图形在展示精确信息上有天生的缺陷,就需要配合数据表一起使用。以上说明了一点,图表展示是大数据分析的起点。

图表这么有用,为什么以水晶报表和congnos为代表的第一次商业智能bi时代还没有开始就匆匆谢幕了?原因是那个时代计算能力的牵制,用数据仓库和olap技术无法满足diy数据探索和数据分析需求。回顾一下计算机的发展简史,没有intel

window的快速发展office是无法走入每个家庭;没有oracle等一代oltp的技术的发展erp,crm是无法走入每个企业;没有sun,cisco等一代互联网技术公司的发展微信,爱奇艺和直播是无法走入每个人的生活。然而以hadoop为代表的云计算已经开始逐渐释放数据分析的魅力。

可视化交互是大数据分析主战场,不解决好这个问题sap的lumira无论如何无法挑战目前的tableau和qlik,哪怕是有hana的助力。打个比方说明一下可视化交互的区别,qlik和lumira都画了一个太阳系,qlik可以直接在大阳系的图片上点中地球,就进入球看世界地图,但是lumira需要在一个下拉列表中选择月球的文字,才能进入月球地图。浅层面的区别是操作效率,深层面的区别的信息展示深度。信息元素特别是视觉信息元素的对象化,是大数据分析的核心技术,地图中的建筑物,照片中的美女,视频中的汽车等等,palantir是实体和关系可视化技术的先驱,结合可视化交互技术和信息搜索技术,轻松搞定了fbi。

可视化交互的核心设计原则有二点,原生对象如果可选择和原生对象之间可交换信息。简单一点说就是,如果我用一个折线图来表示最近阿里股票价格的波动,那么折线图上的每个点就代表每天的股票价格,我用鼠标放上去是能看到那一天的最高最低等信息;如果我把这一天的股价信息拖拽到我的通信录中投资顾问,这天的股价信息会以最便捷的方式发送给我的投资顾问,可能是钉钉,可能是微信,也可能是邮件,一会我就能收到他的“内幕”消息。

大数据分析平台的业务领域、产品形态和技术架构都在飞速的变化中,希望有兴趣的朋友一起来玩。阿里云从云算大数据,到大数据云计算,到云计算,可看出阿里的架构师的从高瞻远瞩到脚踏实地的过程。目前有商家价值的仅是云计算,你准备好了吗?下一个十年玩大数据分析。

上一篇:我的《幸福攻略》_王继福  下一篇:没有了
《大数据分析平台_艾晔》一文由申博注册助学网免费提供,来源于网络。本文著作权归作者所有,如果侵犯了您的权益,请及时与我们联系,我们会立即删除!
原文链接:http://www.yhhpx.com/xindetihui/20180612/2227353.html 更新时间:2018-06-12 09:36
最新文章
申博注册(www.yhhpx.com)旗下申博注册助学网|陕ICP备11001928号 站长邮箱:admin#yhhpx.com|
《大数据分析平台_艾晔》