lishichang
- 浏览: 46635 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
1.1.即席查询的目标
使用者是产品/运营/销售运营的数据分析师；
要求数据分析师掌握查询SQL查询脚本编写技巧，掌握不同业务的数据存储在不同的数据集市里；
不管他们的计算任务是提交给 数据库 还是 Hadoop，计算时间都可能会很长，不可能在线等待；
所以，
使用者提交了一个计算任务（PIG/SQL/Hive SQL），控制台告知任务已排队，给出大致的计算时间等友情提示， 这些作业的权重较低，
使用者和管理员可以查看排队中的计算任务，包括已执行任务的执行时间、运行时长和运行结果；
当计算任务有结果后，控制台界面有通知提示，或者发邮件提示，使用者可以在线查看和下载数据。
...
Presto不是什么
虽然Presto一直被一些个人或者团体称为 数据库 ，但是Presto并不是数据库。
千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。Presto并不是传统意义上的数据库。Presto并不是 MySQL、PostgreSQL或者Oracle的代替品。Presto并不能用来处理在线事务。其实很多其他的数据库产品也是被用来设计为数据仓库或 者数据分析工具，但是也不能处理在线事务。
Presto是什么
Presto通过使用分布式查询，可以快速高效的完成海量数据的查询。如果你需要处理TB或者PB级别的数据，那么你可能更希望借助于H ...
Trafodion简介
Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库，它完全开源免费。Trafodion能够完整地支持ANSI SQL，并且提供ACID事务保证。和传统关系数据库不同的地方在于，Trafodion利用底层Hadoop的横向扩展能力，可以提供极高的扩展性。而传统数据库，比如MySQL，在数据量达到P级别的时候就很难处理。而Trafodion却可以借助HBase的扩展性，仅通过增加普通Linux服务器就可以增加计算和存储能力，进而支持大数据应用。
比如原来使用MySQL的用户，如果数据量持续增加，往往需要采用前后端cache，分库分表，读写分离等 ...
Kylin简介
Kylin 是一个开源的分布式的 OLAP 分析引擎，来自 eBay 公司开发，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持 TB 到 PB 级别的数据量。
Kylin 是：
超级快的 OLAP 引擎，具备可伸缩性
为 Hadoop 提供 ANSI-SQL 接口
交互式查询能力
MOLAP Cube
可与其他 BI 工具无缝集成，如 Tableau，而 Microstrategy 和 Excel 将很快推出
其他值得关注的特性包括：
作业管理和监控
saiku：https://github.com/OSBI/saiku
spagobi：http://www.spagobi.org
pentaho http://www.pentaho.com
birt：http://www.eclipse.org/birt/
JasperReports：http://community.jaspersoft.com
转载自：http://www.huqiwen.com/2012/06/15/olap-abstruct-and-mondrian-quick-start/
OLAP简介及Mondrian快速入门
2012年06月15日 技术分享 评论 2 条 阅读 18,464 views 次
OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技 ...
转载自： http://blog.csdn.net/sunyingyuan/article/details/41944035
简介
Saiku成立于2008年，由Tom Barber和Paul Stoellberger研发。最初叫做Pentaho分析工具，起初是基于OLAP4J库用GWT包装的一个前端分析工具。经过多年的演化、重写之后，于2010年，改名为Saiku。
OLAP分析
OLAP（On-Line Analytical Processing，联机分析处理）是一个使分析师、管理者和执行者从原始数据中用来快速、一致、交互访问的一种软件技术，从而真实的反映企业的数据情况。OL ...
Hbase只支持单索引，而且只能按照rowkey查询，如果多条件查询会非常麻烦，也不能很好的支持分页功能，可以借助solr将需要查询的列和对应的rowkey建立索引，多条件查询时根据列值到solr中查找对应的rowkey，然后通过rowkey到Hbase中查询数据
可以借助Coprocessor实现Hbase插入后自动建立solr索引
具体博客链接：http://database.51cto.com/art/201408/449223.htm
Coprocessor介绍链接：http://www.cnblogs.com/ventlam/archive/2012/10/30/274 ...
项目发布之后,一般都需要升级现有项目的版本,这个时候,由于工程中的子模块非常多,如果手动来修改难免会有遗漏和出错,此时可以通过下面两个命令来实现项目版本的升级:
以卸载XXX文件为例，在应用程序中删除软件后删除一下文件：
Config: ~/Library/Preferences/XXX
System: ~/Library/Caches/XXX
Plugins: ~/Library/Application Support/XXX
Logs: ~/Library/Logs/XXX
通过mysq命令导出
导出指定sql的内容：
mysql -h host -P 3306 -u user -p password -N --default-character-set=utf8 -e "select * from test“ database > test.txt
参数说明
-h指定数据库ip地址
-P指定端口号
-u指定用户名
-p指定密码
--default-character-set指定字符集，防止乱码
-e指定要执行的sql语句
-N（--skip-column-names）Don't write column names i ...
在项目中用到了common-collections中LRUMap，最近有空看了一下源码，对LRU算法有了更具体的认识，LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。
LRUMap实现的核心思想是使用一个链表，将经常使用的放在链表的尾部，如果LRUMap的size已经到最大值时不会像传统的Map会进行自动容量扩充，而是从链表的头部覆盖数据，覆盖后以前头部的数据就相当于被淘汰。LRUMap
中使用了一个固定大小的数组来存放数据，数组中每个元素都是一个LinkEntry数 ...
在使用redis时难免要修正线上缓存数据，最简单的方式就是直接清除指定类型的所有key
进入到redis的bin目录，执行：
./redis-cli -p 6479 keys "id.bui.*" | xargs ./redis-cli -p 6479 del
-p是指定端口号 该条命令删除所有以id.bui.开头的key
-a指定密码
-n指定db
-h指定服务器ip
redis-cli的更多参数可以使用--help查看
“一步千里”之数组找数
- 博客分类：
- 算法
原文地址：http://blog.csdn.net/morewindows/article/details/10645269
首先看看题目要求（题目来源：http://weibo.com/lirenchen，特此鸣谢）：
有这样一个数组A，大小为n，相邻元素差的绝对值都是1。如：A={4,5,6,5,6,7,8,9,10,9}。现在，给定A和目标整数t，请找到t在A中的位置。除了依次遍历，还有更好的方法么？
这道题目的解法非常有趣。
数组第一个数为array[0], 要找的数为y，设t = abs(y - array[0])。由于每个相邻的数字之差的绝对值为1。故第t个位置之前的
原文章地址：http://blog.csdn.net/morewindows/article/details/12684497
首先看看题目要求：
数组A中，除了某一个数字x之外，其他数字都出现了三次，而x出现了一次。请给出最快的方法找到x。
这个题目非常有意思，在本人博客中有 ...