ITeye博客

frankfan915的博客

frankfan915 · 共 97 篇文章

数据库链接长时间无数据交互,发生线程阻塞情况

背景: 在执行双机房部署的时候,因为应用长时间未访问数据库,导致后面访问的数据库的线程都被挂起。 现象分析: Java代码 "Thread-74" daemon prio=10 tid=0x00007f1840044000 nid=0x387b runnable [0x00007f18bdb27000] java.lang.Thread.State: RUNNABLE at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.read(SocketInputStream.jav…

2017-12-13 13:54 · 评论(0)

数据迁移方案及优化

1.迁移的流程 数据通过Ogg抽取Oracle增量数据到苏州flume集群 在flume集群对数据脱敏 同步数据到kafka集群 在滨江数据拉取数据到hbase集群 优化 (1)可扩展性 保证没有单点性能问题,每个流程都是可扩展的。苏州flume集群,滨江kafka集群,滨江flume集群都是可以横行扩展的 (2)性能 保证数据能够更快的迁移到苏州集群,原先集群处理能力为1K/S,性能优化后提升到15K/S (3)可靠性 保证数据在传输过程中不可丢,并且无单点问题。

2016-05-17 18:59 · 大数据迁移 · 评论(0)

ElasticSearch 性能优化

GeTrace系统的所有搜索都是用ElasticSearch来做的,在使用ElasticSearch的过程中碰到了一些问题,这里记录一下。 一 . 在查找调用链的时候。整体数据量大(每天60G * 7 = 420G),但是结果集比较少(只有几百行)的时候,查询时间经常会超过1分钟,慢的甚至需要5,6分钟. 优化1:经过深入测试发现,是因为batchSize设置过大(一开始设置为Integer.Max),具体原因还未分析过 SearchRequestBuilder searchRequestBuilder = client.prepareSearch(indices).setTypes(typ…

2016-01-29 13:22 · ElasticSearch · 评论(0)

Neo4j批量插入性能优化

一. 原生的远程操作接口 Neo4j原生的直接可用的插入方式有以下几种: 1. Rest api执行Cypher语句 public boolean flush() { if (sqlCache.size() != 0) { long start = System.currentTimeMillis(); restAPI.executeBatch(new Process(sqlCache)); logger.info("Size:{},cost:{}ms", sqlCache.size(), System.currentTimeMillis() - start); sqlCache.clear…

2016-01-29 12:36 · Neo4j · 评论(0)

Least Activity LoadBalance配置

背景: 前段时间,发生了某个服务节点发生问题,被阻塞时,影响了整套系统的运行。期望在运行的时候,当某个节点发生问题的时候,上级服务可以调用另一个可以节点,不会影响整套系统。 分析: 主要是不可用节点阻塞达30秒以上,我们使用的是random loadbalance的负载均衡策略。上级应用不断的调用不可用节点,导致被阻塞的调用越来越多,一直到报线程用完错误。 猜想可解决的方案: 1. 对于一些耗时少的服务,上级应用应该设置比较短的timeout时间,然后设置retry为下级节点数,这样就可以无失败次数 2.对于耗时长的服务,上级应用需要设置长的timeout时间,这时可以设置loadbalan…

2015-11-14 23:05 · Dubbo · 评论(0)

Dubbo不能优雅停机,导致停止服务的时候,业务掉单

Dubbo 优雅停机修改方案 1. 服务端不能优雅停机的原因: NettyServer在构造函数中会调用 ChannelHandlers.wrap(handler, ExecutorUtil.setThreadName(url, SERVER_THREAD_POOL_NAME)) 方法将handler进行包装,包装成MultiMessageHandler的一个对象。在下面红色代码中会判断handler是否是WrappedChannelHandler对象,只有是的时候才会对executor对象复值。因为MultiMessageHandler对象不是WrappedChannelHandler的子…

2015-11-03 12:57 · Dubbo · 评论(2)

数据库链接长时间无数据交互,发生线程阻塞情况

背景: 在执行双机房部署的时候,因为应用长时间未访问数据库,导致后面访问的数据库的线程都被挂起。 现象分析: "Thread-74" daemon prio=10 tid=0x00007f1840044000 nid=0x387b runnable [0x00007f18bdb27000] java.lang.Thread.State: RUNNABLE at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.read(SocketInputStream.java:129) …

2015-11-03 12:06 · Oracle · MySQL · 评论(0)

Zookeeper故障总结

背景: 10月29号,系统切换的时候,发生了master信息的变更,有个监听master信息的系统未收到zookeeper的通知。 分析: 原代码如下所示, 监听系统中用以下代码来监听path中数据的变更。当数据发生变更的时候,会回调process方法,然后处理相应的业务。(我们使用的是curator的jar包) client = CuratorFrameworkFactory.newClient("*:2181", new ExponentialBackoffRetry(1000, 3)); client.start(); try { client.getData().usingWatch…

2015-11-01 19:55 · Zookeeper · 评论(0)

Kafka的producer

producer示例代码 Producer producer = new kafka.javaapi.producer.Producer<Integer, String>(new ProducerConfig(props)); String messageStr = new String("Message_" + messageNo); producer.send(new KeyedMessage<Integer, String>(topic, messageStr)); producer可以支持异步发送和同步发送两种方式 config.producerType match { case "…

2015-06-15 13:35 · Kafka · 评论(0)

Kafka的consumer

Consumer的使用示例代码 //创建soncumer connector ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector( createConsumerConfig()); Map<String, Integer> topicCountMap = new HashMap<String, Integer>(); //设置topic和监控份数的映射 topicCountMap.put(topic, new Integer(1)); //创建kafkaStream,一个topic可…

2015-06-14 17:37 · Kafka · 评论(0)

Kafka启动的流程

调用KafkaServer的startup方法启动kafka /** * Start up API for bringing up a single instance of the Kafka server. * Instantiates the LogManager, the SocketServer and the request handlers - KafkaRequestHandlers */ def startup() { try { info("starting") brokerState.newState(Starting) isShuttingDown = new Atom…

2015-06-14 17:30 · Kafka · 评论(0)

Netty ByteBuf的使用

Netty的ByteBuf主要用于网络传输,有读写两个index。 * +-------------------+------------------+------------------+ * | discardable bytes | readable bytes | writable bytes | * | | (CONTENT) | | * +-------------------+------------------+------------------+ * | | | | * 0 <= readerIndex <= writerIndex <= capacity 我们可以看出,…

2015-04-06 17:33 · netty · 评论(0)

ByteBuffer深入学习

背景 最近在研究netty的源代码,发现netty的内存管理都是用jdk的ByteBuffer。为了更深入的了解bytebuffer,因此有了这篇文章 ByteBuffer的基本组成 ByteBuffer 的基本函数 http://kakajw.iteye.com/blog/1797073 ByteBuffer分为两类DirectBuffer和HeapBuffer。DirectBuffer速度快于HeapBuffer。DirectBuffer可以直接将数据输出到终端,避免内存拷贝。DirectBuffer的分配开销大于HeapBuffer。但是DirectBuffer不用GC。因此Direc…

2015-04-04 20:13 · netty · 评论(0)

Spring事务配置

Spring事务配置的五种方式: http://blog.csdn.net/hjm4702192/article/details/17277669 源代码分析: TransactionManager中定义了getTransaction,commit,rollback方法。用于在事务失败或成功的时候提交或者回滚 TransactonTemplate的exectue方法: 当调用execute方法的时候,会先判断为CallbackPreferringPlatformTransactionManager(CallbackPreferringPlatformTransactionManager是指那…

2014-09-09 09:19 · Spring · 评论(0)

concurrent- ConcurrentLinkedQueue

ConcurrentLinkedQueue使用了Unsafe的cas机制保证了线程的安全,用peek方法为例 public class ConcurrentLinkedQueue<E> extends AbstractQueue<E> implements Queue<E>, java.io.Serializable { private static final sun.misc.Unsafe UNSAFE; private transient volatile Node<E> head; private transient volatile Node<E> tail; private bo…

2014-08-16 19:28 · 线程安全 · 评论(0)