lishichang
- 浏览: 46468 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
最近通过报警发现应用频繁有超过1s的慢请求，通过查看日志、tcpudmp和wireshark最后定位是网络问题，在排查过程中也参考了网上的很多文章，但是写的都不是全，现在有空分享一下问题排查的一些经验，希望对遇到类似问题的 ...
传统的连接池比如proxool，会使用List存放所有的连接，通过读写锁来修改连接的状态，标示该连接是否是可用，而BoneCP采用了分区的方式提高了获取数据库连接的并发性，类似ConcurrentHashMap解决并发问题的思想。
下面看下主 ...
在做压力测试时，经常会遇到性能瓶颈，这时除了分析程序的问题外还要关注一下服务器的各种参数，毕竟程序最终是运行在服务器上的，因此服务器的调优是必须的，而且还是一个技术活，这里跟大家分享几个不错的系统参数：
open files：运行ulimit -a可以查看系统设置的值，建议修改成65535。在linux中所有的处理都离不开文件描述符，比如网络连接的建立，如果太小可能连网络连接都会失败。
somaxconn：该参数的值放在/proc/sys/net/core/somaxconn中，建议修成成1024，该参数会影响http建立连接队列的大小，如果太小而应用又是一个高并发的we ...
来自：http://blog.csdn.net/shootyou/article/details/6622226
在服务器的日常维护过程中，会经常用到下面的命令：
[plain] view plain copy
print
YCSB一个NoSql数据库的基准测试工具，可以测试HBase、Redis、MongoDB
项目地址：
https://github.com/brianfrankcooper/YCSB
kafkacat是一款非常好用的kafka工具，可以查看kafka相关的信息，比如topic信息，查看消息等等
项目地址：https://github.com/edenhill/kafkacat
用法示例：
kafkacat -b jx-op-kafka03.xx.com:9092 -C -t app-00-log -f 'Topic %t [%p] at offset %o: key %k: %s\n' -p 1 -o -4851786
参数说明
-b指定borker地址
-C指定是消费者
-t指定topic
-p指定分区
-o指定offset信息，可选值：beginin ...
strace可以跟踪程序执行过程中产生的系统调用及接收到的信号，帮助我们分析程序或命令执行中遇到的异常情况.
strace -p 20533 -tt -T -s10240 -f -o a.txt
-p是进程号
-tt打印运行时间
-T是打印调用消耗时间（监控性能问题）
-f是打印follow forks
-o指定文件地址
-s指定打印字符串的长度，默认只打印前32个字符
通过分析输出文件可以跟踪系统调用情况，发现系统问题
在公司有很多邮件下发excel的数据需求，为了保证数据安全防止数据任意扩散，需要让用户现在查看excel数据，而不是将excel直接发送给用户
onlyoffice是一款开源的在线文档编辑软件，可以将生成的数据放到amazon s3中，然后将onlyoffice跟s3打通实现excel在线查看和编辑
项目地址：http://www.onlyoffice.org/
git地址：https://github.com/ONLYOFFICE
通过nc命令可以很方便的进行文件传输，具体步骤：
1、在目的主机上运行：nc -l 4444 > filename （在目的主机上侦听4444端口，并将socket内容写入到指定的文件中）
2、在源主机上运行：nc 目的主机IP 4444 < filename （将源主机上的指定文件写入到目的主机的4444端口的socket中）
文章摘自：http://gitbook.liuhui998.com/index.html
Git的撤消操作 - 重置, 签出 和 撤消
Git提供了多种修复你开发过程中的错误的方法. 方法的选择取决于你的情况: 包含有错误的文件是否提交了(commited); 如果你把它已经提交了, 那么你是否把有错误的提交已与其它人共享这也很重要.
修复未提交文件中的错误(重置)
如果你现在的工作目录(work tree)里搞的一团乱麻, 但是你现在还没有把它们提交; 你可以通过下面的命令, 让工作目录回到上次提交时的状态(last committed state):
$ git r ...
最近在调研saiku，综合了网上很多资料终于build成功了，分享一下build的经验。
我们选择的是3.7的源码进行构建，因为3.8需要获取许可
1、在github上拉去3.7的源码：https://github.com/OSBI/saiku
2、修改pom文件，主要修改仓库地址，注释无用的modlue引用，具体步骤参照:http://blog.csdn.net/gsying1474/article/details/51649096
<!--<module>saiku-bi-platform-plugin-p5</module>
...
什么是Druid
Druid 是一个开源的，能在海量时序数据上 (万亿级别数据量, 1000 TB级别数据)上面提供实时分析查询的OLAP数据仓库，Druid提供了廉价的实时数据插入和任意数据探索的能力。Druid的主要功能 为分析而生 - Druid是为了解决在OLAP工作流中进行探索分析而生的. 它提供了大量的filters, aggregators和 query 类型，并且提供了一个用户添加新功能的框架. 用户可以利用Druid的集群实现例如topN和直方图等功能。 (注: 传统数据库， 查询几千万的数据， 就会出问题， 查不出来) (注： ...
MapReduce原理与设计思想
简单解释 MapReduce 算法
一个有趣的例子
你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？
MapReduce方法则是：
给在座的所有玩家中分配这摞牌
让每个 ...
文章转自：http://weixiaolu.iteye.com/blog/1474172
1.MapReduce作业运行流程
下面贴出我用visio2010画出的流程示意图：
流程分析：
1.在客户端启动一个作业。
2.向JobTracker请求一个Job ID。
3.将 ...
PostgreSQL protocol gateway for Presto
Prestogres is a gateway server that allows clients to use PostgreSQL protocol to run queries on Presto.
You can use any PostgreSQL clients (see also Limitation section):
psql command
PostgreSQL ODBC driver
PostgreSQL JDBC driver
Prestogres also offers ...