ITeye博客

lishichang的博客

lishichang · 共 43 篇文章

[置顶] 通过tcpdump和wireshark分析应用慢请求问题

最近通过报警发现应用频繁有超过1s的慢请求,通过查看日志、tcpudmp和wireshark最后定位是网络问题,在排查过程中也参考了网上的很多文章,但是写的都不是全,现在有空分享一下问题排查的一些经验,希望对遇到类似问题的码农们有所帮助,具体排查步骤如下: 查看程序日志,程序中对超过100ms的请求都有日志输出,通过查看日志发现有大量的数据库和redis超时 查看redis的慢请求,redis并没有发现慢请求日志,redis慢请求查看的方法具体可以参考redis的文档:http://doc.redisfans.com/server/slowlog.html 查看数据库的慢查询日志,数据库也没…

2016-01-23 21:27 · java · 评论(0)

[置顶] BoneCP数据库连接池源码解析

传统的连接池比如proxool,会使用List存放所有的连接,通过读写锁来修改连接的状态,标示该连接是否是可用,而BoneCP采用了分区的方式提高了获取数据库连接的并发性,类似ConcurrentHashMap解决并发问题的思想。 下面看下主要的几个类: BoneCPDataSource:实现了DataSource接口,接收数据库的配置并对外提供获取数据库连接的功能,第一次获取连接时会初始化连接池BoneCP对象。 public Connection getConnection() throws SQLException { FinalWrapper<BoneCP> wrapper = th…

2016-01-08 16:03 · java · 评论(0)

[置顶] 服务器性能优化

在做压力测试时,经常会遇到性能瓶颈,这时除了分析程序的问题外还要关注一下服务器的各种参数,毕竟程序最终是运行在服务器上的,因此服务器的调优是必须的,而且还是一个技术活,这里跟大家分享几个不错的系统参数: open files:运行ulimit -a可以查看系统设置的值,建议修改成65535。在linux中所有的处理都离不开文件描述符,比如网络连接的建立,如果太小可能连网络连接都会失败。 somaxconn:该参数的值放在/proc/sys/net/core/somaxconn中,建议修成成1024,该参数会影响http建立连接队列的大小,如果太小而应用又是一个高并发的web应用就有可能造成性…

2015-12-31 16:01 · Linux · 评论(0)

CLOSE_WAIT和TIME_WAIT

来自:http://blog.csdn.net/shootyou/article/details/6622226 在服务器的日常维护过程中,会经常用到下面的命令: [plain] view plain copy print ? netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 它会显示例如下面的信息: TIME_WAIT 814 CLOSE_WAIT 1 FIN_WAIT1 1 ESTABLISHED 634 SYN_RECV 2 LAST_ACK 1 常用的三个状态是:ESTABLISHED 表示正在通…

2017-06-19 11:16 · Linux · 评论(0)

ycsb nosql基准测试工具

YCSB一个NoSql数据库的基准测试工具,可以测试HBase、Redis、MongoDB 项目地址: https://github.com/brianfrankcooper/YCSB

2017-06-14 15:28 · 测试 · 评论(0)

kafkacat

kafkacat是一款非常好用的kafka工具,可以查看kafka相关的信息,比如topic信息,查看消息等等 项目地址:https://github.com/edenhill/kafkacat 用法示例: kafkacat -b jx-op-kafka03.xx.com:9092 -C -t app-00-log -f 'Topic %t [%p] at offset %o: key %k: %s\n' -p 1 -o -4851786 参数说明 -b指定borker地址 -C指定是消费者 -t指定topic -p指定分区 -o指定offset信息,可选值:begining、end、正整数…

2017-05-26 14:20 · kafka · 评论(0)

strace定位系统问题

strace可以跟踪程序执行过程中产生的系统调用及接收到的信号,帮助我们分析程序或命令执行中遇到的异常情况. strace -p 20533 -tt -T -s10240 -f -o a.txt -p是进程号 -tt打印运行时间 -T是打印调用消耗时间(监控性能问题) -f是打印follow forks -o指定文件地址 -s指定打印字符串的长度,默认只打印前32个字符 通过分析输出文件可以跟踪系统调用情况,发现系统问题

2017-05-24 14:43 · Linux · java · 评论(0)

onlyoffice-开源在线文档编辑软件

在公司有很多邮件下发excel的数据需求,为了保证数据安全防止数据任意扩散,需要让用户现在查看excel数据,而不是将excel直接发送给用户 onlyoffice是一款开源的在线文档编辑软件,可以将生成的数据放到amazon s3中,然后将onlyoffice跟s3打通实现excel在线查看和编辑 项目地址:http://www.onlyoffice.org/ git地址:https://github.com/ONLYOFFICE

2017-01-16 20:56 · 开源软件 · 评论(0)

linux nc

通过nc命令可以很方便的进行文件传输,具体步骤: 1、在目的主机上运行:nc -l 4444 > filename (在目的主机上侦听4444端口,并将socket内容写入到指定的文件中) 2、在源主机上运行:nc 目的主机IP 4444 < filename (将源主机上的指定文件写入到目的主机的4444端口的socket中)

2017-01-03 12:12 · Linux · 评论(0)

git回滚

文章摘自: http://gitbook.liuhui998.com/index.html Git的撤消操作 - 重置, 签出 和 撤消 Git提供了多种修复你开发过程中的错误的方法. 方法的选择取决于你的情况: 包含有错误的文件是否提交了(commited); 如果你把它已经提交了, 那么你是否把有错误的提交已与其它人共享这也很重要. 修复未提交文件中的错误(重置) 如果你现在的工作目录(work tree)里搞的一团乱麻, 但是你现在还没有把它们提交; 你可以通过下面的命令, 让工作目录回到上次提交时的状态(last committed state): $ git reset --har…

2016-10-31 12:19 · git · 评论(0)

saiku源码构建

最近在调研saiku,综合了网上很多资料终于build成功了,分享一下build的经验。 我们选择的是3.7的源码进行构建,因为3.8需要获取许可 1、在github上拉去3.7的源码: https://github.com/OSBI/saiku 2、修改pom文件,主要修改仓库地址,注释无用的modlue引用,具体步骤参照: http://blog.csdn.net/gsying1474/article/details/51649096 <!--<module>saiku-bi-platform-plugin-p5</module> <module>saiku-bi-platform-pl…

2016-10-19 18:25 · 大数据 · 评论(0)

druid

什么是Druid Druid 是一个开源的,能在海量时序数据上 (万亿级别数据量, 1000 TB级别数据)上面提供实时分析查询的OLAP数据仓库,Druid提供了廉价的实时数据插入和任意数据探索的能力。 Druid的主要功能 为分析而生 - Druid是为了解决在OLAP工作流中进行探索分析而生的. 它提供了大量的filters, aggregators和 query 类型,并且提供了一个用户添加新功能的框架. 用户可以利用Druid的集群实现例如topN和直方图等功能。 (注: 传统数据库, 查询几千万的数据, 就会出问题, 查不出来) (注: druid就是一个能力超强的数据库, 执行…

2016-10-14 19:05 · 大数据 · 评论(0)

MapReduce原理与设计思想

MapReduce原理与设计思想 简单解释 MapReduce 算法 一个有趣的例子 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃? MapReduce方法则是: 给在座的所有玩家中分配这摞牌 让每个玩家数自己手中的牌有几张是黑桃,然后把这个数目汇报给你 你把所有玩家告诉你的数字加起来,得到最后的结论 拆分 MapReduce合并了两种经典函数: **映射(Mapping)**对集合里的每个目标应用同一个操作。即,如果你想把表单里每个单元格乘以二,那么把这个函数单独地应用在每个单元格上的操作就属于mapping。 **化简(Reducing )**遍历集合中的元…

2016-08-23 20:20 · 大数据 · 评论(0)

MapReduce工作原理

文章转自: http://weixiaolu.iteye.com/blog/1474172 1.MapReduce作业运行流程 下面贴出我用visio2010画出的流程示意图: 流程分析: 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存 放在JobTracker专门为该作业创建的文件夹中。文件夹名为该作业的Job ID。JAR文件默认会有10个副本(mapred.submit.replication属性控制);输入划分…

2016-08-23 14:43 · 大数据 · 评论(0)

prestogres 通过pgsql访问presto

PostgreSQL protocol gateway for Presto Prestogres is a gateway server that allows clients to use PostgreSQL protocol to run queries on Presto. You can use any PostgreSQL clients (see also Limitation section): psql command PostgreSQL ODBC driver PostgreSQL JDBC driver Prestogres also offers password…

2016-08-22 10:17 · 大数据 · 评论(0)