// 用来配置ctl在控制线程数量利用private static final long ADD_WORKER = 0x0001L << (TC_SHIFT + 15); // sign//控制线程池数量(ctl & ADD_WORKER) != 0L 时创建线程,// 也就是当ctl的第16位不为0时,可以继续创建线程volatile long ctl; // main pool control//全局锁控制,全局运行状态volatile int runState; // lockable status//config二进制情势的低16位体现parallelism,//config二进制情势的第高16位体现mode,1体现异步模式, 利用先辈先出队列, 0体现同步模式, 利用先辈后出栈//低16位体现workerQueue在pool中的索引,高16位体现mode, 有FIFI LIFL final int config; // parallelism, mode //天生workerQueue索引的紧张依据int indexSeed; // to generate worker index //工作者队列数组,内部线程ForkJoinWorkerThread启动时会注册一个WorkerQueue对象到这个数组中volatile WorkQueue[] workQueues; // main registry //工作者线程线程工厂,创建ForkJoinWorkerThread的计谋final ForkJoinWorkerThreadFactory factory; //在线程因未捕非常而退出时,java假造机将回调的非常处理处罚计谋final UncaughtExceptionHandler ueh; // per-worker UEH //工作者线程名的前缀final String workerNamePrefix; // to create worker name string //实行器全部线程盗取的任务总数,也作为监督runState的锁volatile AtomicLong stealCounter; // also used as sync monitor//通用的实行器,它在静态块中初始化static final ForkJoinPool common; 五、WorkQueue
5.1 类结构及其成员变量
5.1.1 类结构和表明
WorkQueue是ForkJoinPool的核心内部类,是一个Contented修饰的静态内部类。
/** * Queues supporting work-stealing as well as external task * submission. See above for descriptions and algorithms. * Performance on most platforms is very sensitive to placement of * instances of both WorkQueues and their arrays -- we absolutely * do not want multiple WorkQueue instances or multiple queue * arrays sharing cache lines. The @Contended annotation alerts * JVMs to try to keep instances apart. */@sun.misc.Contendedstatic final class WorkQueue {}其表明大意为:
workQUeue是一个支持任务盗取和外部提交任务的队列,着实现参考ForkJoinPool形貌的算法。在大多数平台上的性能对工作队列及其数组的实例都非常敏感。我们不渴望多个工作队列的实例和多个队列数组共享缓存。@Contented表明用来提示jvm将workQueue在实行的时间与其他对象举行区别。
@Contented,现实上就是接纳内存对齐的方式克制伪共享,包管WorkQueue在实行的时间,其前后不会有其他对象干扰。
MAXIMUM_QUEUE_CAPACITY表明如下:
/** * Maximum size for queue arrays. Must be a power of two less * than or equal to 1 << (31 - width of array entry) to ensure * lack of wraparound of index calculations, but defined to a * value a bit less than this to help users trap runaway * programs before saturating systems. */static final int MAXIMUM_QUEUE_CAPACITY = 1 << 26; // 64MMAXIMUM_QUEUE_CAPACITY是队列支持的最大容量,必须是2的幂小于或便是1<<(31-数组项的宽度),但界说为一个略小于此值的值,以资助用户在饱和体系之前捕获失控的步调。
5.1.3 成员变量
成员变量区如下:
@sun.misc.Contendedstatic final class WorkQueue { //队列的初始容量 static final int INITIAL_QUEUE_CAPACITY = 1 << 13; // 64M 队列的最大容量 static final int MAXIMUM_QUEUE_CAPACITY = 1 << 26; // 64M // Instance fields volatile int scanState; // versioned, <0: inactive; odd:scanning int stackPred; // pool stack (ctl) predecessor int nsteals; // number of steals int hint; // randomization and stealer index hint int config; // pool index and mode volatile int qlock; // 1: locked, < 0: terminate; else 0 volatile int base; // index of next slot for poll int top; // index of next slot for push ForkJoinTask<?>[] array; // the elements (initially unallocated) final ForkJoinPool pool; // the containing pool (may be null) final ForkJoinWorkerThread owner; // owning thread or null if shared volatile Thread parker; // == owner during call to park; else null volatile ForkJoinTask<?> currentJoin; // task being joined in awaitJoin volatile ForkJoinTask<?> currentSteal; // mainly used by helpStealer}
WorkQueue就一个构造函数:
WorkQueue(ForkJoinPool pool, ForkJoinWorkerThread owner) { this.pool = pool; this.owner = owner; // Place indices in the center of array (that is not yet allocated) base = top = INITIAL_QUEUE_CAPACITY >>> 1;}在这个构造函数中,只会指定pool和owoner,假如该队列是共享队列,那么owoner此时是空的。别的,base和top两个指针分别都指向了数组的中值,这个值是初始化容量右移一位。
那么团结前面的代码,现实上初始化的时间,数组的长度为8192,那么base=top=4096。
这个数组在构造函数被调用之后初始化如下:
5.3 紧张的方法
5.3.1 push
当ForkJoinWorkerThread须要向双端队列中放入一个新的待实行子任务时,会调用WorkQueue中的push方法。来看看这个方法的紧张实行过程(请留意,源代码来自JDK1.8,它和JDK1.7中的实现有显著差别):
/** * Pushes a task. Call only by owner in unshared queues. (The * shared-queue version is embedded in method externalPush.) * * @param task the task. Caller must ensure non-null. * @throws RejectedExecutionException if array cannot be resized */final void push(ForkJoinTask<?> task) { ForkJoinTask<?>[] a; ForkJoinPool p; int b = base, s = top, n; // 请留意,在实行task.fork时,触发push环境下,array不会为null // 由于在这之前workqueue中的array已经完成了初始化(在工作线程初始化时就完成了) if ((a = array) != null) { // ignore if queue removed //m为最高为位置的index int m = a.length - 1; // fenced write for task visibility // U常量是java底层的sun.misc.Unsafe操纵类 // 这个类提供硬件级别的原子操纵 // putOrderedObject方法在指定的对象a中,指定的内存偏移量的位置,赋予一个新的元素 U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task); // putOrderedInt方法对当前指定的对象中的指定字段,举行赋值操纵 // 这里的代码意义是将workQueue对象自己中的top标示的位置 + 1, U.putOrderedInt(this, QTOP, s + 1); //假如n小于便是1则 且poll不为空 则触发worker盗取大概产生新的worker if ((n = s - b) <= 1) { if ((p = pool) != null) // signalWork方法的意义在于,在当前运动的工作线程过少的环境下,创建新的工作线程 p.signalWork(p.workQueues, this); } //假如n大于便是了m 则阐明须要扩容了, array的剩余空间不敷了 else if (n >= m) growArray(); }}这个push方法是提供给工作队列自己push任务来利用的,共享队列push任务是在外部externalPush和externalSubmit等方法来举行初始化和push。
这里须要留意的是,当队列中的任务数小于1的时间,才会调用signalWork,这个地方一开始并不明白,现实上,我们须要留意的是,这个方法是专门提供给工作队列来利用的,那么这个条件满意的时间,阐明工作队列空闲。假如这个条件不满意,那么工作队列中有许多任务须要工作队列来处理处罚,就不会触发对这个队列的盗取操纵。
5.3.2 growArray
这是扩容的方法。现实上这个方法有两个作用,起首是初始化,其次是判断,是否须要扩容,假如须要扩容则容量加倍。
/** * Initializes or doubles the capacity of array. Call either * by owner or with lock held -- it is OK for base, but not * top, to move while resizings are in progress. */final ForkJoinTask<?>[] growArray() { //旧的数组 oldA ForkJoinTask<?>[] oldA = array; //假如oldA不为空,则size就为oldA的长度*2,反之阐明数组没有被初始化,那么长度就应该为初始化的长度8192 int size = oldA != null ? oldA.length << 1 : INITIAL_QUEUE_CAPACITY; //假如size比答应的最大容量还大,那么此时会抛出非常 if (size > MAXIMUM_QUEUE_CAPACITY) throw new RejectedExecutionException("Queue capacity exceeded"); int oldMask, t, b; //array a 为根据size new出来的一个新的数组 ForkJoinTask<?>[] a = array = new ForkJoinTask<?>[size]; //假如oldA不为空且其长度大于便是0为有用数组,且top-base大于0 阐明不为空 if (oldA != null && (oldMask = oldA.length - 1) >= 0 && (t = top) - (b = base) > 0) { //按size界说掩码 int mask = size - 1; //从旧的数组中poll全部task,然后push到新的array中 do { // emulate poll from old array, push to new array ForkJoinTask<?> x; //接纳unsafe操纵 int oldj = ((b & oldMask) << ASHIFT) + ABASE; int j = ((b & mask) << ASHIFT) + ABASE; //现实上直接举行的内存对象copy,如许服从比循环调用push和poll要高许多 x = (ForkJoinTask<?>)U.getObjectVolatile(oldA, oldj); //判断 x不为空 则利用unsafe举行操纵 if (x != null && U.compareAndSwapObject(oldA, oldj, x, null)) U.putObjectVolatile(a, j, x); } while (++b != t); } //返回新的数组 return a;}须要留意的是,这个方法一旦调用举行扩容之后,无论是来自于外部push操纵触发,照旧有工作线程worker触发,都将被锁定,之后,不能移动top指针,但是base指针是可以移动的。这也就是说,一旦处于扩容的过程中,就不能新增task,但是可以从base举行斲丧,这就只支持FIFO。因此同步模式将在此时被壅闭。
5.3.3 pop
同样,pop操纵也仅限于工作线程,对于共享对立中则不答应利用pop方法。这个方法将按LIFO后进先出的方式从队列中。
/** * Takes next task, if one exists, in LIFO order. Call only * by owner in unshared queues. */final ForkJoinTask<?> pop() { ForkJoinTask<?>[] a; ForkJoinTask<?> t; int m; //假如array不为空切长度大于0 if ((a = array) != null && (m = a.length - 1) >= 0) { //循环,s为top的指针减1,即top减1之后要大于0 也就是说要存在task for (int s; (s = top - 1) - base >= 0;) { //盘算unsafe的偏移量 得到s的位置 long j = ((m & s) << ASHIFT) + ABASE; //假如这个索引处的对象为空,则退出 if ((t = (ForkJoinTask<?>)U.getObject(a, j)) == null) break; //反之用usafe的方法将这个值取走,之后返回,并更新top的指针 if (U.compareAndSwapObject(a, j, t, null)) { U.putOrderedInt(this, QTOP, s); return t; } } } return null;}pop方法,这是仅限于owoner调用的方法,将从top指针处取出task。这个方法对于整个队列是LIFO的方式。
5.3.4 poll
poll方法将从队列中按FIFO的方式取出task。
/** * Takes next task, if one exists, in FIFO order. */final ForkJoinTask<?> poll() { ForkJoinTask<?>[] a; int b; ForkJoinTask<?> t; //判断 base-top小于0阐明存在task 切array不为空 while ((b = base) - top < 0 && (a = array) != null) { //盘算出unsafe操纵的索引 现实上就是拿到b int j = (((a.length - 1) & b) << ASHIFT) + ABASE; //之后拿到这个task 用volatile的方式 t = (ForkJoinTask<?>)U.getObjectVolatile(a, j); //之后假如base和b相等 if (base == b) { //假如拿到的task不为空 if (t != null) { //那么将这个位置的元素移除 base+1 然后返回t if (U.compareAndSwapObject(a, j, t, null)) { base = b + 1; return t; } } //在上述操纵之后,假如base比top小1阐明已经为空了 直接退出循环 else if (b + 1 == top) // now empty break; } } //默认返回null return null;}5.3.5 pollAt
这个方法将接纳FIFO的方式,从 队列中获得task。
/** * Takes a task in FIFO order if b is base of queue and a task * can be claimed without contention. Specialized versions * appear in ForkJoinPool methods scan and helpStealer. */final ForkJoinTask<?> pollAt(int b) { ForkJoinTask<?> t; ForkJoinTask<?>[] a; //数组不为空 if ((a = array) != null) { //盘算索引b的位置 int j = (((a.length - 1) & b) << ASHIFT) + ABASE; //假云云处的task不为空,则将此处理为null然后将对象task返回 if ((t = (ForkJoinTask<?>)U.getObjectVolatile(a, j)) != null && base == b && U.compareAndSwapObject(a, j, t, null)) { base = b + 1; return t; } } return null;}通常环境下,b指的是队列的base指针。那么从底部获取元素就能实现FIFO。特殊的版本出现在scan和helpStealer中用于对工作队列的盗取操纵的实现。
5.3.6 nextLocalTask
/** * Takes next task, if one exists, in order specified by mode. */final ForkJoinTask<?> nextLocalTask() { return (config & FIFO_QUEUE) == 0 ? pop() : poll();}这个方法中对之前的MODE会起作用,假如是FIFO则用pop方法,反之则用poll方法获得下一个task。
5.3.7 peek
/** * Returns next task, if one exists, in order specified by mode. */final ForkJoinTask<?> peek() { ForkJoinTask<?>[] a = array; int m; //判断数组的正当性 if (a == null || (m = a.length - 1) < 0) return null; //根据mode决定从top照旧base处获得task int i = (config & FIFO_QUEUE) == 0 ? top - 1 : base; int j = ((i & m) << ASHIFT) + ABASE; //返回获得的task return (ForkJoinTask<?>)U.getObjectVolatile(a, j);}peek则根据之前的mode界说,从队列的前面大概背面取得task。
5.3.8 tryUnpush
/** * Pops the given task only if it is at the current top. * (A shared version is available only via FJP.tryExternalUnpush)*/final boolean tryUnpush(ForkJoinTask<?> t) { ForkJoinTask<?>[] a; int s; //判断数组的正当性 if ((a = array) != null && (s = top) != base && //将top位置的task与t比力,假如相等则将其改为null U.compareAndSwapObject (a, (((a.length - 1) & --s) << ASHIFT) + ABASE, t, null)) { //将top减1 U.putOrderedInt(this, QTOP, s); //返回操纵乐成 return true; } //默认返回失败 return false;}这个方法是将之前push的任务撤回。这个操纵仅仅只有task位于top的时间操能乐成。
5.3.9 runTask
在之前的文章分析外部提交task的时间,就提到了这个方法。现实上是runWorker调用的。
也就是说,线程在启动之后,一旦worker获取到task,就会运行。
/** * Executes the given task and any remaining local tasks. */final void runTask(ForkJoinTask<?> task) { //task不为空 if (task != null) { //扫描状态标志为busy 那么阐明当前的worker正在处理处罚本地任务 此时这个操纵会将scanState改为0 scanState &= ~SCANNING; // mark as busy //实行这个task (currentSteal = task).doExec(); //开释已实行任务的内存 U.putOrderedObject(this, QCURRENTSTEAL, null); // release for GC //实行其他本地的task execLocalTasks(); ForkJoinWorkerThread thread = owner; //增长增长steals的次数 if (++nsteals < 0) // collect on overflow transferStealCount(pool); //将scanState改为1 如许就变得活泼可以被其他worker scan scanState |= SCANNING; //假如thread不为null阐明为worker线程 则调用后续的exec方法 if (thread != null) thread.afterTopLevelExec(); }}5.3.10 execLocalTasks
调用这个方法,运行队列中的全部task,假如接纳了LIFO模式,则调用pollAndExecAll,这是别的一种实现方法。直到将队列都实行到empty
/** * Removes and executes all local tasks. If LIFO, invokes * pollAndExecAll. Otherwise implements a specialized pop loop * to exec until empty. */final void execLocalTasks() { int b = base, m, s; //拿到数组 ForkJoinTask<?>[] a = array; //假如b-s小于0阐明存在task,a不为空,切a的长度大于0 这均是检测方法的正当性 if (b - (s = top - 1) <= 0 && a != null && (m = a.length - 1) >= 0) { //假如没有接纳FIFO的mode 那么肯定是LIFO 则从top处开始 if ((config & FIFO_QUEUE) == 0) { //开始循环 for (ForkJoinTask<?> t;;) { //从top开始取出task if ((t = (ForkJoinTask<?>)U.getAndSetObject (a, ((m & s) << ASHIFT) + ABASE, null)) == null) break; //修改top U.putOrderedInt(this, QTOP, s); //实行task t.doExec(); //假如没有任务的了 则退出 if (base - (s = top - 1) > 0) break; } } else //FIFO的方式调用pollAndExecAll pollAndExecAll(); }}5.3.11 pollAndExecAll
此方法将用poll,FIFO的方式获得task并实行。
final void pollAndExecAll() { for (ForkJoinTask<?> t; (t = poll()) != null;) t.doExec();}可见,当通过workQueue中调用runTask的方法的时间,会将这个队列的scanState状态修改为0,之后将这个队列中的全部task根据界说的mode全部斲丧完毕。
5.3.12 tryRemoveAndExec
从表明中可知,这个方法仅仅供awaitJoin方法调用,在await的过程中,将task从workQueue中移除并实行。
/** * If present, removes from queue and executes the given task, * or any other cancelled task. Used only by awaitJoin. * * @return true if queue empty and task not known to be done */final boolean tryRemoveAndExec(ForkJoinTask<?> task) { ForkJoinTask<?>[] a; int m, s, b, n; //判断数组的正当性 task不能为空 if ((a = array) != null && (m = a.length - 1) >= 0 && task != null) { //循环 n为task的数量,必须大于0 while ((n = (s = top) - (b = base)) > 0) { //死循环 从top遍历到base for (ForkJoinTask<?> t;;) { // traverse from s to b long j = ((--s & m) << ASHIFT) + ABASE; if ((t = (ForkJoinTask<?>)U.getObject(a, j)) == null) return s + 1 == top; // shorter than expected //假如task处于top位置 else if (t == task) { boolean removed = false; if (s + 1 == top) { // pop //pop的方式获取task 然后更换为null if (U.compareAndSwapObject(a, j, task, null)) { U.putOrderedInt(this, QTOP, s); removed = true; } } //用emptytask代替 else if (base == b) // replace with proxy removed = U.compareAndSwapObject( a, j, task, new EmptyTask()); //假如remove乐成 则实行这个task if (removed) task.doExec(); break; } //假如task的status为负数 切 top=s=1 else if (t.status < 0 && s + 1 == top) { //移除 if (U.compareAndSwapObject(a, j, t, null)) U.putOrderedInt(this, QTOP, s); break; // was cancelled } if (--n == 0) return false; } if (task.status < 0) return false; } } return true;}5.3.13 popCC
假如pop CountedCompleter。这方法支持共享和worker的队列,但是仅仅通过helpComplete调用。
CountedCompleter是jdk1.8中新增的一个ForkJoinTask的一个实现类。
/** * Pops task if in the same CC computation as the given task, * in either shared or owned mode. Used only by helpComplete. */final CountedCompleter<?> popCC(CountedCompleter<?> task, int mode) { int s; ForkJoinTask<?>[] a; Object o; //判断队列数组正当性 if (base - (s = top) < 0 && (a = array) != null) { //从top处开始 long j = (((a.length - 1) & (s - 1)) << ASHIFT) + ABASE; //假如获的的task不为null if ((o = U.getObjectVolatile(a, j)) != null && //且为CountedCompleter对象 (o instanceof CountedCompleter)) { //转换为CountedCompleter CountedCompleter<?> t = (CountedCompleter<?>)o; //死循环 for (CountedCompleter<?> r = t;;) { //假如task与获得的r相等为同一对象 if (r == task) { //假如mode小于0 if (mode < 0) { // must lock //cas的方式加锁 if (U.compareAndSwapInt(this, QLOCK, 0, 1)) { //将这个对象扫除 并修改top后解锁 if (top == s && array == a && U.compareAndSwapObject(a, j, t, null)) { U.putOrderedInt(this, QTOP, s - 1); U.putOrderedInt(this, QLOCK, 0); //返回t return t; } //解锁 U.compareAndSwapInt(this, QLOCK, 1, 0); } } else if (U.compareAndSwapObject(a, j, t, null)) { U.putOrderedInt(this, QTOP, s - 1); return t; } break; } else if ((r = r.completer) == null) // try parent break; } } } return null;}5.3.14 pollAndExecCC
pollAndExecCC 。盗取并运行与给定任务雷同CountedCompleter盘算任务(假如存在),并且可以在不发生争用的环境下实行该任务。否则,返回一个校验和/控制值,供helpComplete方法利用。
/** * Steals and runs a task in the same CC computation as the * given task if one exists and can be taken without * contention. Otherwise returns a checksum/control value for * use by method helpComplete. * * @return 1 if successful, 2 if retryable (lost to another * stealer), -1 if non-empty but no matching task found, else * the base index, forced negative. */final int pollAndExecCC(CountedCompleter<?> task) { int b, h; ForkJoinTask<?>[] a; Object o; //判断array的正当性 if ((b = base) - top >= 0 || (a = array) == null) h = b | Integer.MIN_VALUE; // to sense movement on re-poll else { //从base开始获得task long j = (((a.length - 1) & b) << ASHIFT) + ABASE; if ((o = U.getObjectVolatile(a, j)) == null) h = 2; // retryable else if (!(o instanceof CountedCompleter)) h = -1; // unmatchable else { CountedCompleter<?> t = (CountedCompleter<?>)o; //死循环 for (CountedCompleter<?> r = t;;) { if (r == task) { if (base == b && U.compareAndSwapObject(a, j, t, null)) { base = b + 1; t.doExec(); h = 1; // success } else h = 2; // lost CAS break; } else if ((r = r.completer) == null) { h = -1; // unmatched break; } } } } return h;}externalPush方法中的“q = ws[m & r & SQMASK]”代码非常紧张。我们大抵来分析一下作者的意图,起首m是ForkJoinPool中的WorkQueue数组长度减1,比方当前WorkQueue数组巨细为16,那么m的值就为15;r是一个线程独立的随机数天生器,关于java.util.concurrent.ThreadLocalRandom类的功能和利用方式可拜见别的资料;而SQMASK是一个常量,值为126 (0x7e)。以下是一种大概的盘算过程和盘算结果:
现实上任何数和126举行“与”运算,其结果只大概是0大概偶数,即0、2、4、6、8。也就是说以上代码中从名为“ws”的WorkQueue数组中,取出的元素只大概是第0个大概第偶数个队列。
结论就是偶数是外部任务,奇数是须要拆解归并的任务。
ForkJoinWorkerThread须要从双端队列中取出下一个待实行子任务,就会根据设定的asyncMode调用双端队列的差别方法,代码概要如下所示:
final ForkJoinTask<?> nextTaskFor(WorkQueue w) { for (ForkJoinTask<?> t;;) { WorkQueue q; int b; // 该方法试图从“w”这个队列获取下一个待处理处罚子任务 if ((t = w.nextLocalTask()) != null) return t; // 假如没有获取到,则利用findNonEmptyStealQueue方法 // 随机得到一个元素非空,并且可以举行任务盗取的存在于ForkJoinPool中的别的队列 // 这个队列被记为“q” if ((q = findNonEmptyStealQueue()) == null) return null; // 试图从“q”这个队列base位处取出待实行任务 if ((b = q.base) - q.top < 0 && (t = q.pollAt(b)) != null) return t; }}六、总结