ʵʱÁ÷¼ÆËãϵͳÉè¼ÆÓëʵÏÖ

Ç°ÑÔ µÚ1Õ ʵʱÁ÷¼ÆËã ¡­¡­ 1 1.1 ´óÊý¾Ýʱ´úµÄÐÂÌôÕ½£ºÊµÊ±Á÷¼ÆËã ¡­¡­ 1 1.2 ʵʱÁ÷¼ÆËãʹÓó¡¾° ¡­¡­ 2 1.3 ʵʱÁ÷Êý¾ÝµÄÌص㠡­¡­ 4 1.4 ʵʱÁ÷¼ÆËãϵͳ¼Ü¹¹ ¡­¡­ 6 1.4.1 Êý¾Ý²É¼¯ ¡­¡­ 6 1.4.2 Êý¾Ý´«Êä ¡­¡­ 7 1.4.3 Êý¾Ý´¦Àí ¡­¡­ 8 1.4.4 Êý¾Ý´æ´¢ ¡­¡­ 8 1.4.5 Êý¾Ýչʾ ¡­¡­ 9 1.5 ±¾ÕÂС½á ¡­¡­ 10 µÚ2Õ Êý¾Ý²É¼¯ ¡­¡­ 11 2.1 Éè¼ÆÊý¾Ý²É¼¯µÄ½Ó¿Ú ¡­¡­ 11 2.2 ʹÓÃSpring BootʵÏÖÊý¾Ý²É¼¯·þÎñÆ÷ ¡­¡­ 12 2.3 BIOÓëNIO ¡­¡­ 14 2.3.1 BIOÁ¬½ÓÆ÷ ¡­¡­ 14 2.3.2 NIOÁ¬½ÓÆ÷ ¡­¡­ 17 2.4 NIOºÍÒì²½ ¡­¡­ 19 2.4.1 CPUÃܼ¯ÐÍÈÎÎñ ¡­¡­ 19 2.4.2 I/OÃܼ¯ÐÍÈÎÎñ ¡­¡­ 20 2.4.3 I/OºÍCPU¶¼Ãܼ¯ÐÍÈÎÎñ ¡­¡­ 21 2.4.4 ÏË³Ì ¡­¡­ 22 2.4.5 Actor ¡­¡­ 24 2.4.6 NIOÅäºÏÒì²½±à³Ì ¡­¡­ 25 2.5 ʹÓÃNettyʵÏÖÊý¾Ý²É¼¯·þÎñÆ÷ ¡­¡­ 26 2.5.1 ʹÓÃNettyʵÏÖÊý¾Ý²É¼¯API ¡­¡­ 27 2.5.2 Òì²½±à³Ì ¡­¡­ 29 2.5.3 Á÷Á¿¿ØÖƺͷ´ÏòѹÁ¦ ¡­¡­ 31 2.5.4 ʵÏÖ·´ÏòѹÁ¦ ¡­¡­ 32 2.5.5 Òì²½µÄ²»×ãÖ®´¦ ¡­¡­ 36 2.6 ±¾ÕÂС½á ¡­¡­ 36 µÚ3Õ ʵÏÖµ¥½ÚµãÁ÷¼ÆËãÓ¦Óà ¡­¡­ 38 3.1 ×Ô¼º¶¯ÊÖдʵʱÁ÷¼ÆËã¿ò¼Ü ¡­¡­ 38 3.1.1 ÓÃDAGÃèÊöÁ÷¼ÆËã¹ý³Ì ¡­¡­ 38 3.1.2 ÔìÒ»¸öÁ÷¼ÆËã¿ò¼ÜµÄÂÖ×Ó ¡­¡­ 39 3.1.3 ʵÏÖÌØÕ÷ÌáÈ¡DAG½Úµã ¡­¡­ 42 3.1.4 ʵÏÖÌØÕ÷ÌáÈ¡DAGÍØÆË ¡­¡­ 45 3.2 CompletableFuture·½·¨ÓëÔ­Àí ¡­¡­ 46 3.2.1 ³£ÓõÄCompletableFutureÀà·½·¨ ¡­¡­ 47 3.2.2 CompletableFutureµÄ¹¤×÷Ô­Àí ¡­¡­ 49 3.3 ²ÉÓÃCompletableFutureʵÏÖµ¥½ÚµãÁ÷´¦Àí ¡­¡­ 51 3.3.1 »ùÓÚCompletableFutureʵÏÖÁ÷¼ÆËãÓ¦Óà ¡­¡­ 51 3.3.2 ·´ÏòѹÁ¦ ¡­¡­ 53 3.3.3 ËÀËø ¡­¡­ 54 3.3.4 ÔÙÂÛÁ÷ÓëÒì²½µÄ¹Øϵ ¡­¡­ 55 3.4 Á÷¼ÆËãÓ¦ÓõÄÐÔÄܵ÷ÓÅ ¡­¡­ 56 3.4.1 ÓÅ»¯»úÖÆ ¡­¡­ 56 3.4.2 ÓÅ»¯¹¤¾ß ¡­¡­ 56 3.4.3 Ïß³Ì״̬ ¡­¡­ 62 3.4.4 ÓÅ»¯·½Ïò ¡­¡­ 66 3.5 ±¾ÕÂС½á ¡­¡­ 67 µÚ4Õ Êý¾Ý´¦Àí ¡­¡­ 68 4.1 Á÷¼ÆËãµ½µ×ÔÚ¼ÆËãʲô ¡­¡­ 68 4.2 Á÷Êý¾Ý²Ù×÷ ¡­¡­ 70 4.2.1 ¹ýÂË ¡­¡­ 70 4.2.2 Ó³Éä ¡­¡­ 70 4.2.3 Õ¹¿ªÓ³Éä ¡­¡­ 71 4.2.4 ¾ÛºÏ ¡­¡­ 72 4.2.5 ¹ØÁª ¡­¡­ 73 4.2.6 ·Ö×é ¡­¡­ 75 4.2.7 ±éÀú ¡­¡­ 75 4.3 ʱ¼äά¶È¾ÛºÏÌØÕ÷¼ÆËã ¡­¡­ 76 4.4 ¹ØÁªÍ¼Æ×ÌØÕ÷¼ÆËã ¡­¡­ 78 4.4.1 Ò»¶È¹ØÁª ¡­¡­ 79 4.4.2 ¶þ¶È¹ØÁª ¡­¡­ 81 4.5 ʼþÐòÁзÖÎö ¡­¡­ 85 4.5.1 CEP±à³Ìģʽ ¡­¡­ 86 4.5.2 Flink CEPʵÀý ¡­¡­ 87 4.6 Ä£ÐÍѧϰºÍÔ¤²â ¡­¡­ 89 4.6.1 ͳ¼ÆѧϰģÐÍ ¡­¡­ 90 4.6.2 P-value¼ìÑé ¡­¡­ 90 4.6.3 »úÆ÷ѧϰģÐÍ ¡­¡­ 91 4.7 ±¾ÕÂС½á ¡­¡­ 93 µÚ5Õ ʵʱÁ÷¼ÆËãµÄ״̬¹ÜÀí ¡­¡­ 94 5.1 Á÷µÄ״̬ ¡­¡­ 94 5.1.1 Á÷Êý¾Ý״̬ ¡­¡­ 96 5.1.2 Á÷ÐÅϢ״̬ ¡­¡­ 97 5.2 ²ÉÓÃRedisʵÏÖÁ÷ÐÅϢ״̬¹ÜÀí ¡­¡­ 98 5.2.1 ʱ¼äά¶È¾ÛºÏÌØÕ÷¼ÆËã ¡­¡­ 98 5.2.2 Ò»¶È¹ØÁªÌØÕ÷¼ÆËã ¡­¡­ 99 5.3 ²ÉÓÃApache IgniteʵÏÖÁ÷ÐÅϢ״̬¹ÜÀí ¡­¡­ 100 5.3.1 ʱ¼äά¶È¾ÛºÏ·ÖÎö ¡­¡­ 101 5.3.2 Ò»¶È¹ØÁªÌØÕ÷¼ÆËã ¡­¡­ 103 5.4 À©Õ¹Îª¼¯Èº ¡­¡­ 105 5.4.1 »ùÓÚRedisµÄ״̬¼¯Èº ¡­¡­ 106 5.4.2 ¾Ö²¿ÐÔÔ­Àí ¡­¡­ 106 5.4.3 Åú´ÎÇëÇó´¦Àí ¡­¡­ 108 5.4.4 »ùÓÚApache IgniteµÄ״̬¼¯Èº ¡­¡­ 109 5.4.5 »ùÓÚ·Ö²¼Ê½ÎļþϵͳµÄ״̬¹ÜÀí¼¯Èº ¡­¡­ 109 5.5 ±¾ÕÂС½á ¡­¡­ 110 µÚ6Õ ¿ªÔ´Á÷¼ÆËã¿ò¼Ü ¡­¡­ 111 6.1 Apache Storm ¡­¡­ 112 6.1.1 ϵͳ¼Ü¹¹ ¡­¡­ 112 6.1.2 Á÷µÄÃèÊö ¡­¡­ 113 6.1.3 Á÷µÄÖ´ÐÐ ¡­¡­ 113 6.1.4 Á÷µÄ״̬ ¡­¡­ 116 6.1.5 ÏûÏ¢´«´ï¿É¿¿ÐÔ±£Ö¤ ¡­¡­ 116 6.2 Spark Streaming ¡­¡­ 117 6.2.1 ϵͳ¼Ü¹¹ ¡­¡­ 117 6.2.2 Á÷µÄÃèÊö ¡­¡­ 117 6.2.3 Á÷µÄÖ´ÐÐ ¡­¡­ 118 6.2.4 Á÷µÄ״̬ ¡­¡­ 119 6.2.5 ÏûÏ¢´«´ï¿É¿¿ÐÔ±£Ö¤ ¡­¡­ 120 6.3 Apache Samza ¡­¡­ 120 6.3.1 ϵͳ¼Ü¹¹ ¡­¡­ 120 6.3.2 Á÷µÄÃèÊö ¡­¡­ 121 6.3.3 Á÷µÄÖ´ÐÐ ¡­¡­ 123 6.3.4 Á÷µÄ״̬ ¡­¡­ 126 6.3.5 ÏûÏ¢´«´ï¿É¿¿ÐÔ±£Ö¤ ¡­¡­ 126 6.4 Apache Flink ¡­¡­ 127 6.4.1 ϵͳ¼Ü¹¹ ¡­¡­ 127 6.4.2 Á÷µÄÃèÊö ¡­¡­ 128 6.4.3 Á÷µÄÖ´ÐÐ ¡­¡­ 128 6.4.4 Á÷µÄ״̬ ¡­¡­ 130 6.4.5 ÏûÏ¢´«´ï¿É¿¿ÐÔ ¡­¡­ 131 6.5 ±¾ÕÂС½á ¡­¡­ 132 µÚ7Õ µ±×ö²»µ½ÊµÊ± ¡­¡­ 133 7.1 ×ö²»µ½ÊµÊ±µÄÔ­Òò ¡­¡­ 133 7.2 Lambda¼Ü¹¹ ¡­¡­ 134 7.2.1 Êý¾ÝϵͳºÍLambda¼Ü¹¹Ë¼Ïë ¡­¡­ 135 7.2.2 Lambda¼Ü¹¹ ¡­¡­ 135 7.2.3 Lambda¼Ü¹¹ÔÚʵʱÁ÷¼ÆËãÖеÄÔËÓà ¡­¡­ 137 7.3 Kappa¼Ü¹¹Óë¼Ü¹¹ÊµÀý ¡­¡­ 138 7.3.1 Kappa¼Ü¹¹ ¡­¡­ 138 7.3.2 Kappa¼Ü¹¹ÊµÀý ¡­¡­ 140 7.4 ±¾ÕÂС½á ¡­¡­ 143 µÚ8Õ Êý¾Ý´«Êä ¡­¡­ 144 8.1 ÏûÏ¢Öмä¼þ ¡­¡­ 144 8.1.1 ΪʲôʹÓÃÏûÏ¢Öмä¼þ ¡­¡­ 145 8.1.2 ÏûÏ¢Öмä¼þµÄ¹¤×÷ģʽ ¡­¡­ 146 8.1.3 ÏûϢģʽ ¡­¡­ 147 8.1.4 ʹÓÃÏûÏ¢Öмä¼þµÄ×¢ÒâÊÂÏî ¡­¡­ 149 8.2 Apache Kafka ¡­¡­ 150 8.2.1 Kafka¼Ü¹¹ ¡­¡­ 150 8.2.2 KafkaÉú²úÕß ¡­¡­ 152 8.2.3 KafkaÏû·ÑÕß ¡­¡­ 154 8.2.4 ½«KafkaÓÃÓÚÊý¾Ý×ÜÏß ¡­¡­ 156 8.3 RabbitMQ ¡­¡­ 157 8.3.1 RabbitMQ¼Ü¹¹ ¡­¡­ 157 8.3.2 RabbitMQµÄʹÓà ¡­¡­ 158 8.3.3 ½«RabbitMQÓÃÓÚÅäÖÃ×ÜÏß ¡­¡­ 160 8.4 Apache Camel ¡­¡­ 161 8.4.1 ʹÓÃApache Camel¼¯³Éϵͳ ¡­¡­ 162 8.4.2 ʹÓÃApache Camel¹ÜÀíÁ÷Êý¾Ý·ÓÉ ¡­¡­ 163 8.5 ±¾ÕÂС½á ¡­¡­ 166 µÚ9Õ Êý¾Ý´æ´¢ ¡­¡­ 167 9.1 ´æ´¢µÄÉè¼ÆÔ­Ôò ¡­¡­ 167 9.2 µã²éѯ ¡­¡­ 169 9.2.1 Êý¾ÝÁé»îÐÔ ¡­¡­ 170 9.2.2 MongoDBÊý¾Ý¿â ¡­¡­ 171 9.2.3 Êý¾Ý¹ýÆںͰ´Ê±¼ä·Ö±í ¡­¡­ 172 9.3 Ad-Hoc²éѯ ¡­¡­ 174 9.3.1 µ¹ÅÅË÷Òý ¡­¡­ 175 9.3.2 ElasticSearch ¡­¡­ 176 9.3.3 ·ÖË÷Òý´æ´¢ ¡­¡­ 177 9.4 ÀëÏß·ÖÎö ¡­¡­ 178 9.4.1 ´æ´¢ ¡­¡­ 179 9.4.2 ´¦ÀíºÍ·ÖÎö ¡­¡­ 182 9.4.3 µ÷¶È ¡­¡­ 183 9.5 ¹ØϵÐÍÊý¾Ý¿â²éѯ ¡­¡­ 185 9.6 ±¾ÕÂС½á ¡­¡­ 186 µÚ10Õ ·þÎñÖÎÀíºÍÅäÖùÜÀí ¡­¡­ 188 10.1 ·þÎñÖÎÀí ¡­¡­ 188 10.1.1 Á÷·þÎñºÍ΢·þÎñ ¡­¡­ 188 10.1.2 ΢·þÎñ¿ò¼ÜSpring Cloud ¡­¡­ 190 10.2 ÃæÏòÅäÖñà³Ì ¡­¡­ 195 10.2.1 ÃæÏòÅäÖñà³Ì˼Ïë ¡­¡­ 195 10.2.2 ¸ü¸ß¼¶µÄÅäÖãºÁìÓòÌض¨ÓïÑÔ ¡­¡­ 196 10.3 ¶¯Ì¬ÅäÖà ¡­¡­ 196 10.4 ½«Ç°¶ËÅäÖÃÓëºó¶Ë·þÎñÅäÖøôÀ뿪 ¡­¡­ 201 10.5 ±¾ÕÂС½á ¡­¡­ 202 µÚ11Õ ʵʱÁ÷¼ÆËãÓ¦Óð¸Àý ¡­¡­ 204 11.1 ʵʱÁ÷Êý¾ÝÌØÕ÷ÌáÈ¡ÒýÇæ ¡­¡­ 204 11.1.1 Á÷Êý¾ÝÌØÕ÷ÌáÈ¡ÒýÇæDSL¶¨Òå ¡­¡­ 204 11.1.2 ʵÏÖÔ­Àí ¡­¡­ 208 11.1.3 ¾ßÌåʵÏÖ ¡­¡­ 210 11.2 ʹÓÃFlinkʵÏÖ·ç¿ØÒýÇæ ¡­¡­ 216 11.2.1 ʵÏÖÔ­Àí ¡­¡­ 217 11.2.2 ¾ßÌåʵÏÖ ¡­¡­ 218 11.3 ±¾ÕÂС½á ¡­¡­ 225