用DBScan and GeoSpark做的一个项目

去年我们主任提出一个技术问题问整个部门的人有没有方法解决，我当时看了一眼也不太懂，也没花时间。后来组里一个刚毕业的年轻人，用python把主任提的问题做了个3D图，直观上看起来似乎有方法了。他还提到用DBScan可以有帮助。

接下来这个年轻人要到我们部门别的组（公司培养政策），仍然做这个问题。我们组也还想做这个问题。我花了些时间，提出了用数学上的凸包（跟地理空间有关）可以解决另一个技术难点。过了一段时间，我们组做了些实验原型。我们演示的时候，那个年轻人的组也报告了他们的进展。我们惊奇地发现他们抛弃了他的最初的好主意，用了些平淡无奇又没多大效果的方法。

接下来我们继续我们的。。。结果发现很多DBScan包对上百万点处理太慢。几天也
做不出来。花了很长时间。。。当时用的一个包的主要开发者在stackoverflow上提到
可以用一种索引提高速度。看了文档不知怎么做，请教那个开发者给个例子，他也不肯帮忙。后来看了源码里的许多UNIT Tests，终于发现Cover Tree indexing极大的提高
了速度，同样的数据十几分钟就能处理完。

再接下来，用geospark处理数据还是遇到很大的难点。原来计划6月份可以是运行，可程序只能处理几个州的数据。又花了几个月的时间，直到几个礼拜前才有了突破。几次觉得没法做出来，好在经理不很push。做geospark的华裔博士生也帮了不少忙。最后的结果我们主任和另外一个部门主任非常满意。

代码主要是我一个人写，有几个帮手做数据分析和验证。现在老了，实在不想接这样的项目，做的太累。同时觉得那个年轻人有写好主意，看到他抛弃了他的最初想法，有点惋惜。但实施上他的技能和经验确还不足以做出来这样的项目。

能描述下问题吗

编程大概要有十年经验才能说可以在自己熟悉的那块出任何产品都无coding障碍。
domain knowledge走到顶尖，本科到phd大概也是十年。

【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: 去年我们主任提出一个技术问题问整个部门的人有没有方法解决，我当时看了一眼也
: 不太懂，也没花时间。后了组里一个刚毕业的年轻人，用python把主任提的问题做了个
: 3D图，直观上看起来似乎有方法了。他还提到用DBScan可以有帮助。
: 接下来这个年轻人要到我们部门别的组（公司培养政策），仍然做这个问题。我们组
: 也还想做这个问题。我花了些时间，提出了用数学上的凸包（跟地理空间有关）可以解
: 决另一个技术难点。过了一段时间，我们组做了写实验原型。我们演示的时候，那个年
: 轻人的组也报告了他们的进展。我们惊奇地发现他们抛弃了他的最初的好主意，用了些
: 平淡无奇又没多大效果的方法。
: 接下来我们继续我们的。。。结果发现很多DBScan包对上百万点处理太慢。几天也
: 做不出来。花了很长时间。。。当时用的一个包的主要开发者在stackoverflow上提到
: ...................

【 在 chunjuan (👍春卷🐱更多春卷👍) 的大作中提到: 】
: 能描述下问题吗

Original problem given by the director:

Feel free to share with others.

a. Find the anomalous points in this data set
b. Propose a scalable algorithm to find them


x y t
30.01340302 23.65666271 10/17/17 0:14
28.016308 64.48088391 10/18/17 11:29
88.87304884 85.45409214 10/17/17 8:46
25.70002732 74.7992704 10/15/17 7:57
54.86568351 50.68382722 10/18/17 17:54
50.33649622 78.56081233 10/14/17 7:12
53.66997059 52.11885851 10/18/17 7:33
74.24063406 85.85943885 10/17/17 3:00
15.33987714 36.92925825 10/14/17 11:50
51.96142883 46.73563424 10/18/17 16:22
24.07826457 75.11317488 10/16/17 8:40
30.58041079 71.37603886 10/14/17 9:23
51.7103643 53.08557887 10/18/17 10:09
61.35809497 75 10/17/17 5:48
30.84831946 77.85241599 10/18/17 15:13
47.68547407 52.85820149 10/18/17 15:25
75.03478714 25.49747929 10/16/17 4:49
50.38941186 50.27266912 10/17/17 16:33
52.86757262 31.89485903 10/18/17 11:57
34.58432006 20.11654501 10/15/17 11:01
48.07538461 47.44594911 10/18/17 5:44
55.42099393 34.12984047 10/16/17 4:00
74.71142033 23.923006 10/18/17 18:20
44.04083718 58.20208396 10/18/17 21:28
53.07604636 45.60695052 10/18/17 11:52
18.17087843 25.95977045 10/18/17 19:57
26.49594529 75.37298105 10/15/17 23:56
87.58289543 35.18942781 10/14/17 19:31
52.4448844 54.41068821 10/18/17 16:26
45.78601132 55.39365955 10/18/17 12:02
34.69953876 22.76068503 10/16/17 11:24
14.31614612 27.07673082 10/15/17 21:42
19.50543353 28.56821319 10/18/17 13:25
23.21445724 25.83261226 10/15/17 5:54
12.13834328 75.22450105 10/15/17 18:52
30.01913233 23.46549725 10/18/17 19:55
9.921801091 18.9080122 10/18/17 9:31
24.81206177 23.21188721 10/14/17 8:17
71.40906098 76.59878906 10/15/17 4:32
76.63163212 16.6059804 10/17/17 13:16
36.85084032 36.05108738 10/15/17 18:07
70.99260709 80.7231502 10/17/17 2:05
96.30922769 58.94234517 10/18/17 11:29
47.25133444 35.85934154 10/18/17 11:41
75.896396 20.38844234 10/17/17 2:53
65.62271195 73.68210811 10/14/17 6:38
48.69532243 49.11998387 10/18/17 6:48
92.35832047 19.02305094 10/16/17 6:34
20.13162578 74.14157427 10/16/17 2:09
65.67003879 33.40073481 10/17/17 4:28
24.22847636 74.41861524 10/15/17 13:09
49.58710376 49.78045918 10/18/17 11:19
71.05463339 19.56966872 10/15/17 1:02
76.70051686 5.563003403 10/18/17 18:18
50.1045523 51.49516756 10/18/17 18:13
51.87450062 48.53547961 10/18/17 0:13
25.98412114 22.56421472 10/16/17 13:37
25.71160561 27.19009687 10/17/17 6:16
33.95899094 67.74515218 10/16/17 7:54
65.05679667 75.52110121 10/15/17 22:30
74.60138413 25.09202772 10/16/17 20:18
77.33321877 21.40715817 10/18/17 16:29
79.4987055 78.77486213 10/18/17 15:34
51.86465561 49.90227754 10/18/17 7:27
78.4187598 79.37581299 10/16/17 8:39
29.51028887 22.28994504 10/15/17 22:20
39.76059884 20.48723206 10/16/17 16:32
70.51483304 26.37125315 10/17/17 23:16
72.71681438 43.59505462 10/19/17 5:45
73.23449694 22.65709831 10/17/17 0:38
24.88954056 24.5569714 10/17/17 11:13
75.94121878 76.63023875 10/14/17 5:04
76.81541219 4.249743757 10/18/17 10:48
29.84188474 32.17838932 10/15/17 20:12
78.56276167 26.58624369 10/15/17 9:19
28.31767272 22.40794999 10/14/17 15:40
24.45217444 73.40899905 10/17/17 17:40
76.12962287 25.70586671 10/16/17 20:32
25.6880919 27.56799394 10/14/17 19:25
77.96229718 24.74083258 10/15/17 20:50
75.98220392 77.31392742 10/15/17 6:08
78.82169394 61.67216934 10/15/17 12:13
64.20286034 37.42068836 10/18/17 3:51
80.96037161 55.50450293 10/18/17 0:12
48.7738522 51.02886017 10/18/17 15:57
40.45270487 71.14720796 10/16/17 0:11
68.8762128 77.85556887 10/14/17 10:33
79.55163124 23.06794717 10/14/17 10:19
75.81022733 20.83174172 10/18/17 14:31
51.82390769 52.51039357 10/18/17 14:47
50.36538498 80.68734901 10/17/17 14:18
47.04872968 49.31864556 10/18/17 8:11
78.33785127 77.80078977 10/13/17 17:27
18.73948733 72.59681434 10/14/17 3:03
26.04406862 22.85934209 10/14/17 17:44
24.719901 24.98532063 10/14/17 22:51
70.79095775 14.03507007 10/15/17 18:03
75.72473228 25.26378098 10/15/17 23:34
71.56686925 27.31567593 10/17/17 12:20
78.96182178 25 10/18/17 13:52
38.29242466 57.31570501 10/18/17 12:09
55.96851656 53.58624656 10/17/17 22:19
35.2309763 44.91461732 10/18/17 9:48
49.83790603 50.16209397 10/18/17 16:09
78.59315952 22.92548839 10/16/17 23:38
74.15134254 25.1649623 10/14/17 14:06
65.44069793 28.47930141 10/18/17 7:43
48.04725194 53.52285076 10/18/17 19:48
88.98176363 76.22324581 10/14/17 10:18
10.88831695 23.76538771 10/18/17 0:44
27.15101579 82.03565564 10/17/17 9:57
4.078251066 88.58674262 10/17/17 22:24
55.85367271 52.72961242 10/18/17 12:59
21.4979963 68.93435166 10/18/17 16:31
50.24039814 50.30769559 10/18/17 7:45
77.12857849 92.33588061 10/17/17 20:16
21.45813816 17.04484807 10/15/17 8:14
85.07678038 24.82410914 10/15/17 14:18
80.18657275 66.69974854 10/14/17 18:05
15.44912269 12.77543451 10/14/17 10:27
51.4110509 53.1692722 10/18/17 7:57
81.14677589 67.67455775 10/15/17 13:21
42.04164558 4.690557651 10/16/17 11:36
54.6219173 56.85227419 10/18/17 14:06
78.6646348 29.36734169 10/18/17 11:56
74.41934285 73.10075606 10/14/17 12:21
64.62904807 13.87851565 10/13/17 22:58
26.96713677 73.90959828 10/14/17 0:38
22.38809889 24.30014321 10/16/17 0:22
49.53387096 50.06551016 10/18/17 15:10
75.79028273 70.93434779 10/14/17 9:37
18.20830464 12.74745723 10/15/17 13:03
85.27931551 75.89932358 10/15/17 2:10
49.15893386 43.150066 10/18/17 21:35
26.27215689 27.49674848 10/17/17 1:26
25.72982501 28.16121943 10/17/17 4:40
22.14616292 71.59892941 10/14/17 16:04
75.42001983 73.70731188 10/17/17 9:07
56.52812237 45.9207764 10/18/17 23:00
30.08178131 20.26116226 10/16/17 20:14
49.63372038 51.06375326 10/18/17 19:05
23.61094134 23.1566569 10/16/17 1:47
29.33417396 26.0006229 10/17/17 16:20
75.85843589 80.41995087 10/15/17 3:29
50.02469252 49.52883863 10/17/17 23:29
11.65113105 72.40524273 10/15/17 11:54
82.54904601 39.19769062 10/16/17 11:52
39.37002013 56.64234863 10/18/17 20:02
77.64259246 87.43242005 10/14/17 12:28
73.65077966 72.99969858 10/14/17 4:51
30.5201426 70.52987666 10/18/17 4:28
76.62578739 69.68228906 10/16/17 15:11
74.22184527 24.55073216 10/17/17 19:02
65.1740842 81.88018031 10/18/17 18:23
74.33823365 28.75306345 10/15/17 1:04
47.50141222 50.90941158 10/18/17 6:53
23.59843316 80.62137755 10/18/17 12:33
77.91169516 71.13605002 10/16/17 13:11
14.73705758 73.92132129 10/15/17 3:55
53.98292096 39.0570146 10/18/17 3:45
27.28711798 76.2160822 10/16/17 15:11
17.93738758 85.47075351 10/18/17 15:43
27.30815051 81.34159141 10/15/17 11:23
42.97483126 60.03298074 10/18/17 14:54
28.54878253 18.03512213 10/17/17 12:17
29.08912503 50 10/17/17 23:28
35.80906754 82.56859057 10/17/17 15:20
29.29145845 29.76614747 10/15/17 13:09
74.57895192 24.00807288 10/16/17 14:55
50.67141772 42.32566036 10/18/17 19:57
17.0344957 64.03642389 10/16/17 9:11
66.41560462 26.35963466 10/17/17 5:27
43.95864953 43.29040057 10/18/17 19:45
74.54278639 23.97308143 10/14/17 0:50
72.6220702 72.6220702 10/16/17 13:58
24.1360607 74.66836477 10/17/17 1:05
15.19511935 76.55294053 10/13/17 23:35
84.38056711 67.40376653 10/14/17 4:18
56.2074231 42.33447087 10/18/17 5:40
74.96464604 77.02542705 10/17/17 16:40
40.9866468 71.30919177 10/18/17 1:41
23.91598566 29.34774405 10/15/17 3:22
78.33949953 19.44213944 10/15/17 11:00
75.94622883 20.90143263 10/15/17 15:36
24.41696636 18.335895 10/15/17 19:06
24.52527692 25.18222912 10/16/17 22:24
22.4700483 78.12423016 10/15/17 0:12
46.66239757 52.70273715 10/18/17 11:14
13.04747985 76.46758494 10/14/17 4:35
73.66520829 84.4975365 10/15/17 6:33
94.21709332 72.9802021 10/15/17 12:16
11.81528665 77.08825344 10/14/17 2:25
34.35513603 41.87711216 10/16/17 17:17
26.32963068 21.34686972 10/16/17 10:03
52.23865251 48.49000982 10/18/17 7:13
24.65644787 78.92681882 10/15/17 7:33
73.1371882 81.09298286 10/16/17 22:20
75.73415204 24.7755472 10/18/17 19:10
75.62374156 75.45317477 10/14/17 12:34
14.49607675 72.38107779 10/19/17 4:29
42.86502538 39.81020022 10/18/17 17:46
26.08113945 74.18530299 10/18/17 6:03
57.3179492 52.80909751 10/18/17 10:52
48.47632112 52.63908924 10/18/17 8:27
33.94241103 40.72914669 10/18/17 17:55
29.69771198 78.67025484 10/15/17 11:35
42.44339125 73.1666257 10/16/17 9:55
78.89543 25.34080596 10/18/17 6:54
78.61418573 19.64174931 10/15/17 7:44
68.41267453 27.3975904 10/17/17 23:35
76.24466365 60.77342933 10/17/17 6:57
28.04714051 66.62805024 10/17/17 11:20
82.01000806 24.13927924 10/16/17 14:00
79.65072768 81.4011775 10/18/17 11:12
23.99939776 70.98680362 10/15/17 13:52
78.89358606 82.32277035 10/14/17 2:19
50.16330724 50.4041996 10/18/17 5:39
26.51293332 60.605401 10/18/17 4:51
26.11486715 23.67135307 10/15/17 7:16
25.74842796 26.60500895 10/17/17 11:29
25.56799484 75.34128573 10/15/17 13:59
26.08870603 68.8256413 10/15/17 14:27
82.91053292 81.63772526 10/15/17 7:43
23.02935377 72.81137564 10/14/17 2:07
78.58752141 21.53557084 10/15/17 0:48
13.8106757 76.37387627 10/15/17 9:07
24.25610848 77.59425802 10/16/17 13:05
78.60610021 23.39446075 10/18/17 8:22
83.47319922 19.90878827 10/16/17 12:49
-3.129860888 56.73225474 10/18/17 21:34
15.36841322 77.4014243 10/18/17 2:56
23.94020192 73.36805407 10/16/17 17:28
81.94518971 38.06200209 10/14/17 16:16
79.77690026 55.8408995 10/14/17 18:39
72.24620951 57.61325111 10/17/17 15:08
51.93595603 49.65863872 10/18/17 5:52
25.00990245 74.94384042 10/15/17 14:11
54.64326658 45.51604959 10/18/17 9:15
32.49370857 24.47598885 10/17/17 17:39
21.38043714 27.5344452 10/18/17 16:49
77.9706555 20.75746427 10/14/17 9:40
25.18145158 76.02906305 10/14/17 20:10
22.13751151 75.5564114 10/18/17 8:45
74.51098433 24.76149112 10/18/17 19:26
5.238129651 67.01568611 10/15/17 9:47
75.35687798 22.09346209 10/15/17 9:01
64.78748184 81.63208684 10/17/17 20:39
53.34361433 51.28349329 10/18/17 9:25
25.1975961 25.1975961 10/17/17 4:47
79.80732055 79.48289893 10/18/17 7:13
49.5992123 49.44836306 10/18/17 18:44
61.29312945 56.52009133 10/18/17 9:12
30.05495688 21.59038854 10/18/17 15:24
22.3696774 69.83770123 10/17/17 9:43
51.13578366 49.42128932 10/18/17 5:08
83.63139089 23.63292198 10/14/17 19:56
12.57087816 30.27584921 10/15/17 2:25
23.85029101 23.88973893 10/17/17 9:55
20.41787015 88.30747134 10/16/17 19:19
25.40779039 23.36444206 10/17/17 15:33
27.51260798 20.81831809 10/14/17 23:11
12.60296705 63.8376614 10/15/17 18:16
24.72129194 25.44602613 10/15/17 5:56
70.01079772 81.3858877 10/16/17 15:02
76.97181238 73.28592965 10/15/17 6:36
92.05714094 102.2971316 10/14/17 16:43
66.31410153 18.45470603 10/17/17 11:06
35.93527544 79.19765895 10/15/17 1:05
27.1018277 29.12506912 10/17/17 16:45
54.15429417 53.87394199 10/18/17 15:02
34.87156743 82.17211356 10/18/17 13:48
30.60489127 70.12774236 10/16/17 13:17
30.85875756 79.57736307 10/14/17 9:54
-4.416063856 61.28306415 10/16/17 0:24
73.91325365 14.66029916 10/15/17 21:45
12.60865052 27.63386264 10/16/17 16:17
30.48625597 90.93324426 10/16/17 17:19
24.03106074 27.39820883 10/18/17 7:48
33.15693479 11.42458079 10/16/17 10:11
68.87161786 83.75223673 10/16/17 17:45
75.10765962 26.23055511 10/18/17 10:19
17.10577891 22.58649441 10/14/17 18:17
73.84624803 69.57202373 10/15/17 22:16
24.56183482 75.48663173 10/15/17 8:17
44.47701724 78.74775104 10/18/17 9:59
25 80.35180683 10/15/17 16:46
25.29110813 25.31217525 10/14/17 4:26
51.36587838 49.17929747 10/18/17 16:22
18.4523827 42.98943069 10/15/17 0:40
70.04534903 74.74033775 10/17/17 7:44
25.35453946 74.40994725 10/17/17 11:49
75.86909797 27.67480851 10/18/17 9:43
57.13275216 73.33018108 10/18/17 10:51
25.79352118 32.54984973 10/15/17 6:51
23.7013525 72.33737805 10/17/17 10:29
23.85135139 72.00766807 10/17/17 4:48
28.62292038 72.82312982 10/17/17 9:59
47.71570831 60.74674744 10/18/17 22:27
57.7703942 49.04591556 10/18/17 11:02
79.85843924 31.93857032 10/16/17 1:55
50.23834173 49.98750904 10/18/17 8:03
37.24442768 78.51103314 10/18/17 14:33
60.73489597 44.53029731 10/18/17 23:44
23.5078942 77.80624287 10/16/17 2:01
28.17842217 24.26620342 10/16/17 12:15
40.82562608 -4.763673801 10/17/17 12:03
75.03365894 24.0361341 10/17/17 20:00
74.46471475 75.11377839 10/18/17 2:40
22.41361919 64.62659316 10/16/17 6:34
22.6186779 77.94068789 10/16/17 2:52
58.69360101 79.98536648 10/17/17 5:46
29.44326499 28.47145907 10/14/17 10:40
17.44574561 34.32872726 10/18/17 12:51
75.02907241 74.89150029 10/15/17 0:05
50.92115019 49.30586354 10/18/17 4:23
22.85843834 66.41066532 10/17/17 14:57
25.25015782 28.57742348 10/18/17 0:35
22.65202484 76.97018509 10/15/17 9:27
51.5434167 67.64133355 10/18/17 14:14
55.60077468 77.03894074 10/14/17 9:46
10.28681873 69.0554889 10/16/17 21:54
43.58246447 60.2702037 10/18/17 2:05
76.92772279 47.43227968 10/14/17 14:07
37.29841557 17.89950646 10/14/17 3:48
72.30724375 23.25130364 10/17/17 17:53
70.63445283 19.60899822 10/15/17 13:27
76.34295585 75.23679935 10/18/17 6:36
50.88809602 47.80188522 10/17/17 22:13
80.39751138 76.24611369 10/18/17 18:01
65.29703913 12.12373603 10/15/17 17:19
9.069836283 20.7315255 10/17/17 9:40
71.46020802 73.42398307 10/17/17 7:26
26.51553341 26.51553341 10/15/17 14:29
30.66652078 25.9991605 10/17/17 0:15
73.54377764 67.5083854 10/16/17 1:28
73.91919028 24.9054414 10/16/17 16:14
71.7841935 69.1985315 10/16/17 19:59
62.60445609 43.852396 10/18/17 13:45
75.44468821 83.48515653 10/17/17 10:00
50.32319676 54.62192897 10/18/17 22:37
50.54147685 42.25652023 10/18/17 4:08
35.4492967 87.45298688 10/16/17 14:59
76.53917826 73.02994167 10/18/17 21:52
43.14061732 60.56252306 10/18/17 16:09
21.06666998 35.80673543 10/14/17 19:22
44.21159947 58.91335517 10/18/17 6:12
46.75527279 68.40176244 10/18/17 7:33
63.53624497 71.2752002 10/16/17 22:43
75.16761574 71.80170106 10/18/17 7:28
50.8088858 49.72147828 10/18/17 11:21
45.06191753 35.66711077 10/17/17 18:20
61.2386254 16.06325884 10/16/17 2:01
24.76898555 68.38461157 10/15/17 13:40
32.60515249 75.79933374 10/16/17 16:42
71.80511467 29.56276912 10/14/17 19:02
93.99457366 30.80722395 10/14/17 15:53
17.05111144 37.240215 10/15/17 17:55
71.45149951 73.34530705 10/15/17 4:40
34.48063053 33.92922246 10/18/17 10:23
48.88898059 50.36099209 10/18/17 4:22
51.40006589 59.96198643 10/18/17 12:07
23.70822962 23.08487165 10/14/17 9:40
81.47080062 78.88804927 10/15/17 12:09
27.59387416 8.622923115 10/14/17 4:31
89.36621929 25.75290165 10/16/17 1:11
23.51608035 71.81772405 10/16/17 9:27
75.53052066 76.38205356 10/14/17 20:46
21.51903001 44.74156181 10/18/17 8:33
25.68164149 75.87246132 10/16/17 10:21
73.38940622 18.02375189 10/15/17 7:25
84.58299271 6.977011991 10/17/17 13:46
57.09983153 57.35209078 10/18/17 5:16
72.26507761 59.48948437 10/17/17 10:31
46.06368 70.5227766 10/17/17 15:03
25.25622574 76.45312841 10/14/17 11:26
88.90659687 77.45210824 10/16/17 0:14
22.07116961 93.49190728 10/18/17 5:58
83.22950596 61.83003745 10/17/17 9:33
28.60395335 80.54960149 10/16/17 4:14
88.10559354 25 10/17/17 19:14
26.22254597 88.97376442 10/17/17 10:37
28.43469933 63.76560469 10/14/17 9:18
73.90636032 28.8139748 10/15/17 8:51
23.42099217 25.36454268 10/15/17 19:38
28.32824956 22.66953457 10/15/17 23:03
65.46778689 25.49956212 10/18/17 13:55
54.77917553 49.07102238 10/18/17 9:33
18.42970715 59.52136005 10/18/17 4:27
76.51122216 25.43333598 10/18/17 15:54
22.30552116 25.23573635 10/17/17 4:40
40.4191519 48.31063798 10/18/17 18:20
-3.579875724 84.8408404 10/16/17 9:18
49.17871229 49.33493433 10/18/17 13:16
81.24892246 13.24748615 10/15/17 10:02
68.4125664 78.07177074 10/18/17 10:10
74.23091071 74.39912159 10/14/17 20:43
57.36703358 48.16319223 10/18/17 11:40
65.33134369 88.80827224 10/14/17 22:03
50.32012472 53.04578327 10/18/17 20:17
39.14303666 37.94212064 10/18/17 19:37
79.06671852 70.48345152 10/15/17 17:27
18.4601923 23.72879016 10/16/17 10:50
71.2098597 73.62050175 10/14/17 15:28
53.49333032 56.56999878 10/18/17 11:55
9.184598937 13.50943853 10/14/17 3:53
68.87095882 32.30430685 10/16/17 9:03
85.53196531 37.11564016 10/15/17 18:03
72.31525261 73.18911502 10/18/17 12:20
86.86383457 29.55409941 10/15/17 13:57
53.96190839 49.79236518 10/18/17 5:43
28.69101196 76.96254587 10/14/17 18:42
78.36989606 28.36989606 10/14/17 4:00
77.551038 27.46350876 10/16/17 17:46
14.38244347 58.6503967 10/15/17 20:52
35.21034832 15.80656108 10/16/17 13:49
35.19123143 77.73073223 10/16/17 12:13
78.13476213 30.65526058 10/14/17 5:21
25.07436373 72.87050136 10/15/17 22:45
74.59213153 75.91608758 10/15/17 19:45
68.41933073 68.18551748 10/18/17 19:26
31.86188374 84.79978559 10/14/17 4:07
67.18538499 25.27289237 10/14/17 12:15
60.99391015 22.7816533 10/16/17 21:37
22.10473263 71.66937589 10/18/17 10:46
68.21712608 79.40484983 10/16/17 8:34
25.78185141 21.86416528 10/15/17 3:25
16.34192702 80.83994396 10/16/17 4:38
13.75526757 70.68355163 10/14/17 10:43
73.60378322 69.78924804 10/16/17 1:31
51.76587165 48.17138638 10/18/17 16:27
50.54377131 65.5715729 10/18/17 15:12
22.27397442 75.73043635 10/14/17 20:22
44.81703875 41.70552814 10/18/17 12:36
19.344704 67.7615512 10/16/17 8:33
50 53.99176413 10/17/17 19:25
24.81792465 27.60379876 10/15/17 10:40
74.94412843 25.10507913 10/18/17 11:32
45.40621037 57.95667705 10/18/17 18:17
67.69384239 61.81934276 10/16/17 15:26
65.62642711 97.08275386 10/18/17 11:41
80.97190846 72.82640308 10/16/17 20:44
73.82127368 23.6908918 10/16/17 10:59
45.62024011 49.84705541 10/18/17 6:37
72.8661544 68.02050552 10/16/17 18:43
31.52828225 78.32632595 10/14/17 1:58
74.99036964 75.01541179 10/14/17 6:41
49.20307302 50.12622083 10/18/17 16:26
77.35811849 19.70357916 10/15/17 14:09
67.6856609 22.19228828 10/18/17 3:51
71.32022913 25.12850043 10/15/17 15:43
25.28554826 24.98003252 10/16/17 18:41
46.75777518 44.60403176 10/18/17 8:18
10.96007075 37.64160908 10/16/17 3:16
79.01057798 74.0000506 10/17/17 7:51
52.59940835 40.29887596 10/17/17 20:43
41.905801 45.13651458 10/18/17 2:54
44.7927965 68.15967671 10/18/17 12:23
27.61129804 76.27361515 10/16/17 16:43
55.83257065 52.47577936 10/18/17 16:31
33.46341977 66.23587227 10/17/17 15:08
81.75935365 83.055484 10/15/17 1:55
74.8809614 25.75158012 10/15/17 12:28
25.78476603 23.05763592 10/17/17 11:25
74.64271381 68.18257339 10/17/17 12:18
75.21197717 74.95879581 10/15/17 12:22
74.37672105 73.45733048 10/14/17 10:38
90.41185225 17.48313741 10/17/17 10:06
25.63934143 17.69229404 10/15/17 9:29
47.83054151 49.45909325 10/18/17 12:03
67.50874945 66.38230204 10/15/17 20:00
77.24349698 35.55482345 10/16/17 12:07
22.0428301 73.55769187 10/17/17 1:21
24.56841515 26.12431696 10/17/17 16:50
25.67219686 80.4746041 10/18/17 4:14
30.36717608 83.5892772 10/16/17 14:02
22.16657875 31.07629149 10/18/17 14:22
74.87347256 74.20113718 10/17/17 9:41
22.71596896 17.03463717 10/18/17 3:42
53.32239526 38.54567082 10/17/17 15:27
62.85045908 13.26732471 10/16/17 23:00
28.47830987 64.29486298 10/16/17 15:44
26.43630262 30.00898249 10/14/17 4:55
15.14926087 15.4872518 10/17/17 11:45
85.22985874 93.45515369 10/15/17 5:09
79.07058939 73.27213732 10/17/17 22:40
72.22922627 21.18635713 10/17/17 13:18
49.85414801 50.75034344 10/18/17 11:54
75.67546182 34.65955409 10/15/17 7:19
71.14671488 71.14671488 10/18/17 14:59
36.39620989 24.80107842 10/15/17 4:15
10.03321925 83.64107489 10/15/17 12:55
26.46520444 73.19062321 10/18/17 9:03
25.93789915 69.68090962 10/15/17 8:35
80.20669478 47.5526728 10/17/17 16:01
15.91812711 78.12713962 10/14/17 8:04
69.60534663 86.06067852 10/18/17 10:31
78.56565868 25 10/18/17 19:23
84.10463447 75 10/15/17 7:57
32.8931253 80.73469121 10/14/17 18:39
47.11763011 51.28331376 10/18/17 19:52
4.649983178 60.75076482 10/14/17 10:57
20.22957785 28.86301168 10/16/17 10:02
25.0272951 25.52082153 10/15/17 14:39
50.36872214 46.49184317 10/18/17 15:00
68.4358812 33.40168893 10/17/17 9:45
26.0730954 20.35191317 10/18/17 3:21
48.377205 45.2870611 10/18/17 14:02
19.6531776 25.28021509 10/18/17 7:43
28.30208512 29.71586629 10/16/17 22:13
27.22526096 79.01447704 10/17/17 17:58
82.42019717 67.31616089 10/13/17 20:51
22.64423973 14.79608122 10/18/17 21:40
73.88983559 35.56250883 10/17/17 14:23
77.82704574 73.91479882 10/18/17 3:10
40.8243894 76.1065491 10/16/17 11:58
55.13131827 52.72837032 10/18/17 8:55
46.12095786 47.48092058 10/18/17 14:11
73.34896293 76.38538459 10/15/17 1:12
24.56218031 25.64909439 10/15/17 13:29
18.0569235 28.53767418 10/17/17 21:27
75.33416871 74.54005623 10/17/17 16:48
51.85555644 39.47661652 10/18/17 15:11
83.71134415 59.91150934 10/16/17 13:03
71.1326911 72.58343719 10/14/17 17:54
43.53337264 26.94793596 10/15/17 17:38
77.39218587 24.91646303 10/15/17 22:58
24.30543605 15.06727281 10/16/17 16:34
17.30946233 35.58511701 10/15/17 4:26
52.89281049 48.19237139 10/18/17 6:28
71.11563039 8.174946736 10/14/17 1:56
74.8869194 25.04568753 10/14/17 7:17
18.04991063 28.54124741 10/15/17 8:34
11.86636541 68.30807893 10/18/17 10:04
25.74020368 74.73058789 10/16/17 18:13
21.64186371 30.17107641 10/14/17 12:55
86.98214761 52.46485788 10/18/17 6:14
18.57318656 74.77557073 10/14/17 19:09
78.78954338 14.58831513 10/16/17 14:44
74.37060815 23.90986134 10/17/17 9:48
46.49954108 53.38035389 10/18/17 10:15
25.10290474 73.52839361 10/17/17 16:21
76.51858808 73.85566181 10/17/17 6:08
20.5885093 25.46366636 10/16/17 3:46
89.04729907 85.20596018 10/15/17 8:23
26.16396736 22.61351324 10/15/17 19:53
73.6838508 67.53574696 10/15/17 22:13
81.76567555 18.23432445 10/17/17 4:54
23.74358323 78.45197672 10/15/17 7:06
50.05082903 47.08800655 10/17/17 21:27
93.72560256 10.36995587 10/15/17 12:17
42.98735372 50 10/18/17 23:19
70.08825683 23.77536489 10/15/17 13:40
77.34865491 77.11473838 10/14/17 15:35
72.93856776 67.81093144 10/15/17 20:21
23.77741333 70.43724442 10/17/17 11:58
82.51155471 23.67551024 10/15/17 1:32
48.76336161 51.07499335 10/18/17 10:57
16.18953502 -3.817732454 10/15/17 1:15
47.05748975 47.15845089 10/18/17 14:14
91.97709528 28.91947128 10/15/17 12:05
50.20549102 61.77257283 10/18/17 13:10
75.1649285 65.55125263 10/16/17 21:38
77.19823688 22.80176312 10/17/17 8:56
30.05506459 71.84124507 10/15/17 11:34
68.94852652 70.43988765 10/14/17 8:29
71.40170652 24.93719155 10/18/17 13:23
48.7313592 48.7313592 10/18/17 14:29
25.87208237 25.96854559 10/17/17 4:28
26.04183287 72.13758772 10/15/17 5:06
75.54164168 73.98132017 10/15/17 1:44
84.25533993 37.28225092 10/18/17 18:53
51.12305879 48.98879333 10/18/17 19:33
25.50324683 69.24786245 10/15/17 6:39
50 53.4905017 10/17/17 18:44
74.31917613 25.90348379 10/16/17 21:57
56.35497322 56.58076742 10/18/17 13:37
66.84747002 27.49247855 10/17/17 8:13
25.57014087 79.0567631 10/15/17 4:47
12.39636728 75.21999723 10/15/17 20:48
27.81265412 84.1997771 10/17/17 9:00
75 18.36435558 10/15/17 11:19
23.02164546 24.93091434 10/16/17 5:35
27.65189256 62.52382643 10/16/17 16:23
47.4190437 36.72213088 10/17/17 16:26
15.53556803 62.44027457 10/16/17 20:08
81.79061676 20.59012191 10/17/17 20:06
25.20881575 25.90448039 10/16/17 7:26
25.57866375 76.78094391 10/18/17 17:55
15.36332661 76.87317955 10/15/17 6:48
74.66772998 75.38223293 10/17/17 2:47
90.70188799 21.37493352 10/15/17 17:00
52.48046049 61.66964911 10/18/17 15:29
21.84768016 34.15500156 10/14/17 11:16
28.42555527 28.42555527 10/15/17 2:58
34.58300555 26.86274758 10/15/17 17:25
45.67052263 43.58128584 10/18/17 20:03
59.39190637 30.07137704 10/17/17 11:57
35.49816033 85.13795559 10/15/17 18:24
46.08346998 52.64173285 10/18/17 17:15
26.3703339 25.4718438 10/18/17 5:13
14.64723873 21.63618395 10/16/17 6:33
21.74049376 75.93464837 10/16/17 16:19
77.57988417 91.28874757 10/16/17 10:13
65.49031988 72.45188889 10/16/17 13:37
71.23987586 21.36889033 10/16/17 15:31
91.58728444 77.03666244 10/18/17 21:19
16.6380142 14.67380752 10/18/17 19:15
77.98726351 23.13335059 10/14/17 19:30
28.17274149 75.73248509 10/18/17 17:48
74.64390677 28.38800074 10/16/17 11:41
23.38299773 71.68465403 10/16/17 18:55
90.34477365 34.22007019 10/16/17 1:59
31.86701037 81.63139483 10/18/17 12:30
21.31440251 76.19752322 10/17/17 20:34
10.18959095 80.0996328 10/13/17 20:53
72.62191097 23.94120655 10/16/17 20:47
86.61352052 84.40444349 10/17/17 12:13
75 61.5515131 10/14/17 15:09
23.56728518 19.65303549 10/16/17 0:29
20.56688374 71.00840419 10/17/17 8:28
33.14850129 78.45883359 10/16/17 6:43
34.06980366 24.36577755 10/17/17 18:15
7.674195909 60.96984048 10/17/17 9:36
30.6081189 73.0689698 10/16/17 19:51
75.34985371 74.88632564 10/14/17 4:27
25.37744653 74.34624343 10/15/17 19:15
33.76393176 13.36986974 10/18/17 12:49
55.3899584 38.73109895 10/18/17 12:56
27.58317739 26.80876028 10/15/17 18:02
39.45403464 68.8646263 10/17/17 7:08
82.51971904 21.00169446 10/15/17 8:43
23.31236239 20.82295034 10/17/17 15:56
68.00572753 31.29767122 10/16/17 12:06
46.72081411 58.11626989 10/18/17 12:28
35.25085987 90.19752473 10/15/17 4:27
10.84511443 37.3046543 10/16/17 19:28
43.16039955 53.18935807 10/18/17 4:26
21.80642523 22.5934688 10/15/17 18:44
76.96944983 72.56793201 10/17/17 16:58
45.04695612 48.39065849 10/18/17 14:59
66.52346451 73.95921231 10/18/17 8:52
88.75343582 88.28153859 10/15/17 8:24
75.98980455 93.88659587 10/17/17 13:14
49.85922374 41.93493351 10/18/17 15:59
75.2914175 16.65489475 10/15/17 15:13
47.79051084 52.63316665 10/18/17 11:24
24.4787854 27.68141669 10/17/17 14:46
78.05977688 79.53630577 10/17/17 14:01
29.20614354 14.04262145 10/17/17 22:58
70.43503461 72.67403396 10/15/17 10:18
76.94900891 21.48389485 10/14/17 20:27
72.52745284 79.65018488 10/17/17 8:28
79.26862505 63.27204907 10/15/17 15:39
65.49826806 83.25972956 10/17/17 10:56
72.61104507 21.321332 10/14/17 5:01
46.46715065 37.67949016 10/18/17 4:42
52.84980798 47.60872717 10/18/17 2:27
74.83592914 70.30162533 10/15/17 2:55
72.57099646 92.28325823 10/14/17 12:15
51.19100203 49.31237466 10/18/17 21:25
81.69485446 27.84179712 10/15/17 17:25
76.38430085 71.57373516 10/16/17 17:06
25.034189 25.14808883 10/18/17 13:19
21.38227919 77.92957255 10/18/17 6:00
44.06090409 53.85689398 10/18/17 17:51
58.44739186 49.11214334 10/18/17 16:55
75.446976 75.3885503 10/17/17 17:00
71.59955257 22.04403615 10/15/17 1:07
23.26442628 69.65845334 10/18/17 13:58
28.20355479 79.57515039 10/14/17 10:01
74.72181124 73.24358529 10/14/17 19:26
75.13147659 73.49721575 10/16/17 1:13
74.56289871 24.17793204 10/16/17 5:24
75.26492966 71.97184012 10/14/17 11:41
24.53230813 61.60705726 10/17/17 15:02
48.10639813 49.63192108 10/18/17 10:46
27.03685675 23.72723064 10/15/17 10:24
24.59353126 76.63025708 10/16/17 18:06
72.68850505 76.87181171 10/17/17 0:02
60.05437505 31.86142726 10/18/17 19:47
26.84542544 25.78333662 10/16/17 17:44
15.056977 17.77597094 10/17/17 22:07
74.48511521 29.19340008 10/17/17 23:14
67.63923778 14.48774211 10/14/17 8:28
76.15910581 23.21513358 10/18/17 8:06
61.77018194 78.05434417 10/16/17 15:51
63.70879463 34.47444626 10/17/17 0:05
24.76437787 70.50406185 10/17/17 6:25
26.28036781 81.02365695 10/18/17 12:17
20.25883241 32.02907001 10/16/17 17:13
24.4060328 72.4272454 10/16/17 9:45
70.50636947 23.62615928 10/17/17 9:37
50.43592542 47.94913216 10/18/17 16:05
51.7070655 48.23228192 10/18/17 8:10
13.51768391 28.73083066 10/17/17 4:21
24.20779041 26.96078753 10/18/17 9:00
67.46381057 48.71818412 10/18/17 9:50
75.56401109 80.36620708 10/18/17 14:53
86.23867827 26.98168221 10/18/17 8:42
62.2192177 41.75803359 10/18/17 11:34
28.61548848 73.31407004 10/14/17 6:55
58.03330386 56.05352866 10/18/17 10:11
66.87141526 39.86263099 10/18/17 1:21
70.4236716 79.41930897 10/18/17 17:16
78.74454382 -1.643813756 10/17/17 12:06
24.23584913 39.58086712 10/17/17 10:05
74.69045734 29.42666632 10/18/17 5:43
32.89740339 14.89178461 10/15/17 16:45
30.90176026 36.09959671 10/14/17 15:14
37.63735647 77.91756363 10/16/17 9:42
4.6787512 52.96979945 10/16/17 13:53
21.00455318 72.59929335 10/16/17 7:02
53.32155306 49.76773438 10/18/17 13:20
27.44445148 17.00455947 10/16/17 14:40
50.03690518 49.29580721 10/18/17 15:40
31.60275463 64.83264948 10/18/17 3:14
47.20857682 59.73484953 10/18/17 3:17
64.42187429 82.97118947 10/15/17 18:22
29.16333391 19.4750693 10/18/17 7:48
74.02619643 74.84576467 10/16/17 22:00
73.02111127 21.11621218 10/16/17 13:10
19.65166419 24.05694409 10/14/17 14:18
49.32166127 40.29930428 10/18/17 1:04
25 33.97190909 10/15/17 8:33
28.71897524 60.08400502 10/18/17 15:35
64.63295472 47.68236766 10/18/17 9:55
74.97277891 24.22048998 10/15/17 3:20
73.81169885 77.05819797 10/14/17 16:00
52.66854946 68.98771606 10/18/17 1:38
24.79766495 74.90991463 10/18/17 3:57
82.24143115 83.63000159 10/14/17 19:49
19.48084038 10.62209763 10/18/17 7:33
79.63675814 19.66601992 10/18/17 13:34
16.58742586 86.57891495 10/18/17 21:25
25.56368679 25.01968438 10/17/17 17:08
72.15293681 89.64687037 10/18/17 15:55
22.88951565 22.88951565 10/18/17 15:25
87.3400042 78.0767086 10/17/17 18:06
18.19679523 19.6847539 10/17/17 8:09
75.27088474 75.50946011 10/15/17 17:50
50.48632567 45.37292032 10/18/17 6:36
24.98493479 75.05622415 10/16/17 6:53
58.94557966 46.74407528 10/18/17 4:33
51.1237245 52.11341841 10/18/17 6:50
27.26782649 30.61306754 10/15/17 6:34
21.48170457 76.49342781 10/17/17 0:05
31.13636013 69.85098247 10/14/17 8:16
74.66979728 65.5442314 10/17/17 16:04
64.1739588 22.50061145 10/18/17 14:08
23.14112041 71.35174339 10/15/17 20:39
13.2262625 18.73979273 10/17/17 15:47
72.66908792 18.23053979 10/15/17 23:25
30.57796864 22.63229279 10/16/17 6:39
57.08324512 55.7358988 10/18/17 9:05
57.66132752 73.57914158 10/19/17 4:26
24.85034432 75.13475058 10/15/17 12:42
78.92166545 67.30329819 10/16/17 23:26
42.98309415 33.46920576 10/18/17 6:17
78.40452979 78.06545239 10/17/17 7:05
26.57677534 70.42071191 10/16/17 6:30
36.67997474 36.27922049 10/17/17 2:17
59.61559991 19.70272624 10/16/17 14:10
82.91332152 13.69860565 10/14/17 19:33
25.04844424 27.7753687 10/18/17 6:21
74.53358635 25.21749226 10/17/17 15:43
80.70530631 24.29947647 10/17/17 4:45
76.12474943 74.40196012 10/18/17 5:58
69.50643599 67.70979433 10/13/17 23:44
36.7285724 22.50701498 10/15/17 11:41
16.30614947 37.41610531 10/14/17 20:06
80.71289102 22.08913663 10/15/17 8:14
66.68075484 35.27341219 10/18/17 23:36
68.46098056 74.31272136 10/14/17 22:42
51.58488761 60.00658657 10/18/17 18:43
25.27286407 74.98091949 10/14/17 22:34
24.41846229 76.78978904 10/18/17 9:05
25.40812496 75.03570631 10/14/17 15:31
51.13577625 50.03966218 10/19/17 0:19
25.47425947 47.82969332 10/14/17 10:47
28.21204633 82.21437418 10/15/17 15:33
28.33894012 19.65657884 10/15/17 8:16
38.91485692 11.56257887 10/14/17 20:51
73.33859135 21.08596649 10/18/17 10:16
48.26624969 55.67084175 10/18/17 9:42
72.10038353 16.57890231 10/16/17 17:10
52.25342904 52.99040134 10/18/17 4:32
74.94753931 75.04892039 10/17/17 15:00
43.94325585 72.60407689 10/18/17 19:55
71.38168686 69.20948854 10/14/17 3:27
72.28908091 29.89062749 10/18/17 9:39
64.32273994 73.11731097 10/18/17 19:53
67.8305877 77.75207953 10/16/17 20:11
53.7303003 54.44559878 10/18/17 6:21
20.99139451 22.86858665 10/16/17 20:55
57.01844795 20.8486316 10/15/17 12:18
77.6658632 80.98762677 10/14/17 2:19
49.78842618 62.12105576 10/18/17 1:11
22.93834595 80.37079241 10/17/17 15:55
69.58464359 19.19274124 10/17/17 9:06
43.68353441 38.60479443 10/17/17 18:23
22.57914513 70.97102091 10/16/17 21:55
24.30530591 77.01753813 10/14/17 16:24
57.22498108 85.68030887 10/16/17 13:57
64.00728335 7.407975982 10/18/17 17:28
74.54946917 25.59787461 10/16/17 17:59
49.14521455 45.97855061 10/18/17 8:46
50 50.3583451 10/18/17 23:09
22.73059185 77.52043309 10/15/17 9:26
74.54066484 73.91787417 10/14/17 14:14
75.15488916 24.85042528 10/17/17 19:25
70.09673983 68.49315398 10/14/17 22:36
74.83379506 22.62315861 10/16/17 8:42
74.7055432 91.86941849 10/15/17 7:47
23.74681133 25.9790983 10/15/17 20:30
51.69788644 48.04680508 10/18/17 4:31
19.66075261 66.77828002 10/14/17 19:39
50.83548793 44.05519448 10/18/17 15:22
83.28245893 79.78187989 10/14/17 17:47
29.51962394 71.59421908 10/15/17 13:50
68.54113451 33.571204 10/15/17 12:16
41.43625514 82.66435164 10/17/17 14:55
75.48074077 73.52043203 10/15/17 12:38
39.76415418 58.6027456 10/14/17 4:32
82.129316 32.91790757 10/18/17 4:28
51.60107237 51.00046105 10/18/17 13:48
24.52644234 27.43624298 10/14/17 10:27
74.32804724 25.67195276 10/18/17 7:23
75 36.82292042 10/19/17 7:30
32.21147923 77.06785839 10/16/17 14:23
73.37639038 24.7428455 10/16/17 9:45
27.54731422 13.96636992 10/17/17 22:22
83.18062055 67.10006656 10/17/17 13:21
87.14041049 40.53901682 10/18/17 0:37
23.0627244 20.4360647 10/15/17 0:08
76.29955205 21.22582681 10/18/17 9:44
49.4081763 49.97933306 10/18/17 8:19
30.54533286 80.74236028 10/17/17 8:14
46.72123612 48.87103106 10/18/17 18:51
25.06187703 74.85422684 10/15/17 22:53
25.88664874 26.81789931 10/17/17 7:24
83.0637646 23.28599392 10/18/17 12:43
16.10742384 82.20106619 10/15/17 10:30
76.79032517 75 10/17/17 10:37
71.3918204 65.60037078 10/18/17 14:53
41.0954086 25.56206405 10/16/17 16:12
25.34136199 26.75615517 10/17/17 14:27
52.78680481 46.16429225 10/18/17 14:51
26.13751784 76.06075254 10/14/17 15:32
74.77598612 24.02968929 10/15/17 12:33
21.87013791 23.47346426 10/14/17 12:48
33.87729594 41.01506581 10/18/17 14:18
21.7145379 68.82094448 10/17/17 9:46
77.83750081 68.62686883 10/16/17 22:49
75.24987624 74.89393383 10/15/17 7:19
69.65497464 42.45516213 10/18/17 10:05
74.33689348 26.82187019 10/16/17 7:06
14.25463422 34.01643246 10/15/17 2:29
26.39934649 24.75325746 10/15/17 17:13
76.65532159 75.73699665 10/17/17 9:21
24.34607817 21.29142502 10/15/17 0:54
93.74381791 18.54598591 10/17/17 11:48
30.19739078 22.90011782 10/14/17 20:16
15.9748379 20.59813433 10/14/17 14:13
49.20997109 87.87266997 10/18/17 5:25
12.69017559 85.7007671 10/14/17 20:06
50.76860416 50.57918477 10/18/17 3:13
22.41197061 32.96513545 10/16/17 8:14
51.35833256 69.42506063 10/18/17 8:39
22.00691433 32.79725475 10/16/17 14:13
25.71443677 75.50025401 10/14/17 9:49
78.98630952 17.50284219 10/15/17 13:51
34.93753347 70.57552504 10/14/17 6:36
67.74862763 74.36558712 10/14/17 21:04
17.57467961 73.42169943 10/17/17 14:36
34.92046828 45.38972449 10/18/17 16:37
24.83404104 25.39097481 10/18/17 10:56
71.95769417 75.48185391 10/15/17 8:39
74.33933244 26.41680615 10/14/17 6:51
27.19270362 25.19183671 10/16/17 4:37
79.95972448 26.2365982 10/15/17 11:32
29.06689351 25 10/14/17 10:26
63.55312362 63.55312362 10/15/17 18:37
18.91741845 80.47678103 10/14/17 6:50
68.12905107 25.48046355 10/18/17 6:18
23.45640812 75.38486068 10/17/17 9:07
56.85261643 51.96495614 10/18/17 21:19
77.73939155 21.49373871 10/15/17 18:43
24.29112521 71.35315536 10/16/17 13:28
72.70483927 73.77964139 10/14/17 8:37
41.91834947 63.15364416 10/15/17 15:27
75.55181323 21.07364484 10/14/17 21:36
63.11414704 19.70807731 10/18/17 6:38
26.61099799 24.53805376 10/17/17 8:36
50.78953552 48.13997088 10/18/17 6:08
23.76886713 75.99695174 10/18/17 0:10
36.42001878 64.3506602 10/17/17 16:18
50.34336027 49.52740514 10/18/17 21:54
28.2979556 27.06079138 10/16/17 22:23
34.20687804 22.1851749 10/14/17 2:48
60.50012 50.86814722 10/16/17 13:46
72.66511636 25.53905036 10/17/17 5:03
25.10470174 24.97389492 10/14/17 11:31
25.44344256 75.70965643 10/16/17 1:14
72.93460325 26.85969159 10/18/17 16:24
70.95144239 67.05425831 10/18/17 2:10
25.38703274 74.35586935 10/17/17 11:31
71.23443153 71.48855059 10/14/17 10:33
30.23115006 21.73121465 10/18/17 10:00
26.4969226 67.95753286 10/17/17 12:48
68.49517817 75.11354209 10/16/17 16:01
43.87602755 61.51751706 10/18/17 22:28
22.26071566 27.73928434 10/17/17 11:32
49.38497204 46.11686626 10/18/17 13:16
27.32285953 76.68765624 10/16/17 2:57
44.29181955 41.21017292 10/18/17 15:59
47.58236627 52.41763373 10/18/17 3:52
82.36860378 80.55264122 10/15/17 5:34
20.29802023 63.36219169 10/14/17 13:11
47.57564219 50.74120056 10/18/17 18:46
36.68629567 85.15874184 10/14/17 8:13
34.84620756 45.93955355 10/18/17 2:22
26.64672775 74.40064012 10/16/17 13:02
34.30592237 17.98748451 10/17/17 14:56
31.53047032 40.99180848 10/18/17 10:06
59.49451332 54.42736427 10/18/17 12:03
37.65996244 27.69095809 10/14/17 14:27
29.20890581 65.0844393 10/14/17 22:42
26.56572333 76.62135397 10/16/17 19:33
24.52005958 26.56981437 10/16/17 20:33
61.40011775 74.04900359 10/18/17 2:04
71.22877367 90.12556265 10/17/17 15:27
72.14113849 75.45279918 10/16/17 10:19
76.33331141 74.93012411 10/14/17 7:25
34.92475383 76.57192658 10/16/17 20:09
26.44129523 17.58517885 10/14/17 18:31
81.97982478 71.13101995 10/14/17 17:06
14.24758746 20.65574334 10/18/17 7:39
51.33619779 49.61685145 10/18/17 11:44
72.89306059 74.39584484 10/18/17 16:35
51.00756767 59.58636605 10/18/17 8:56
72.96835093 25.73945979 10/15/17 17:36
29.04597323 68.26636977 10/16/17 3:56
43.94420635 50.63648956 10/18/17 13:45
23.83952126 25.04052481 10/17/17 0:49
77.95725403 16.87501133 10/14/17 11:45
31.49188901 72.50799729 10/16/17 7:16
25.67483825 71.82513566 10/18/17 4:12
79.43955717 26.61586666 10/17/17 5:02
26.10430564 74.8839328 10/15/17 0:57
24.26544379 83.39601586 10/14/17 16:25
37.1233664 38.80651318 10/18/17 19:01
50.22666364 49.99604357 10/18/17 2:31
73.89593284 46.06685649 10/16/17 10:12
79.85641699 78.93264894 10/18/17 1:30
49.27239371 60.40525467 10/18/17 12:31
79.73375972 31.76050951 10/18/17 12:48
42.71739343 48.18424225 10/18/17 17:45
58.7699187 51.86410377 10/18/17 12:57
73.19416216 71.60371299 10/17/17 5:22
22.94414371 89.62817762 10/15/17 3:57
28.07392303 23.22526971 10/14/17 21:04
26.79300492 79.22405489 10/15/17 2:32
71.46635854 28.92450643 10/16/17 23:35
24.39210828 75.45807927 10/17/17 10:32
86.514441 13.88063358 10/17/17 3:31
71.67938512 70.74980677 10/16/17 20:00
26.89792357 78.72488474 10/14/17 15:21
19.04853193 31.60977492 10/14/17 19:57
14.85988093 74.46857888 10/15/17 0:20
24.52348814 24.29354211 10/15/17 16:05
15.63211683 10.57472491 10/15/17 23:51
21.72565508 18.57373626 10/15/17 9:47
30.79769654 29.05959082 10/15/17 4:37
40.74688998 48.86386095 10/18/17 11:46
74.84618011 33.81233563 10/18/17 16:26
27.35511285 21.50840162 10/18/17 8:33
63.33546993 45.14628588 10/17/17 21:49
58.58964076 71.8101493 10/16/17 7:12
74.36926606 24.63584559 10/17/17 9:30
62.37075831 34.72338574 10/18/17 17:30
23.03178968 24.96564476 10/18/17 14:53
76.69053942 73.05525686 10/18/17 15:39
24.34118632 75 10/14/17 16:20
12.28168545 31.7624478 10/16/17 12:32
24.65900547 74.88258617 10/18/17 4:57
73.31786682 75.35754845 10/15/17 21:37
78.09851095 25.71534762 10/15/17 22:45
23.28889528 21.33052409 10/15/17 0:00
76.79798748 25.48176929 10/17/17 13:12
24.80388448 75.46201921 10/15/17 23:39
5.42030866 65.45034646 10/18/17 9:45
25.34643375 70.04576654 10/18/17 17:07
35.29940548 25.17977679 10/15/17 21:12
30.01896861 27.3403835 10/19/17 0:22
22.91013992 30.1725852 10/15/17 17:09
23.04210831 24.4753845 10/15/17 18:02
9.721723104 79.67103801 10/15/17 4:47
35.68711493 47.73306171 10/18/17 17:35
81.35557141 24.44395955 10/18/17 10:30
12.15471238 60.22318694 10/15/17 13:36

Hourly count of the records of the data in prod that is needed to process
is more than 100 millions.

这种问题基本两个思路。一个是density estimation. 另一个是nearest neighbors,
wdong是这方面专家。
density estimation应该有on line的。

【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: Hourly count of the records of the data in prod that is needed to process
: is more than 100 millions.

Time series anormaly detection

【 在 SwiftDove(Swift Dove) 的大作中提到: 】

: Hourly count of the records of the data in prod that is needed to
process

: is more than 100 millions.

你要用tree的话，是个二维结构，过一遍怎么也要O（NlgN）。
换成geohash的话，过一遍是O（N）。
而且你用postGIS和spark这种拼硬盘的，放到内存后，速度再提高10倍。

这个问题很好并发，和分布。
只要你愿意，做成实时的都没问题。
建议看看uber怎么做的。

如你所说，我的kgraph能比covertree更快。跑一遍，所有点的knn就同时都出找来了，程序可能还更简单。不过从暴力搜索到cover tree, 楼主大部分分数已经赚到了。

【 在 lightroom(吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】

: 这种问题基本两个思路。一个是density estimation. 另一个是nearest
neighbors,

: wdong是这方面专家。

: density estimation应该有on line的。

主任的问题只是最初他想象的。实际的问题是这样：在这每小时就能收集1亿的记录中，已知道有一些“坏点”。 但这些“坏点”不一定不正常 （就像造产品有一定的费品率）。要发现哪些地理区域的“坏点”对历史来说太高了，把这些区域和相关的基站找出来。简单的是用bin/grid (bin的大小和迭代都似乎不好选择） 方法，但显然（主任和我）认为不好。这也是那个年轻人
后来用的方法。最后他也不知道怎么再把bin再分类，基本上就停止了开发。

他这个没有讲什么叫abnormal, 为什么可以做？

要是拍脑袋的话。那么
分成一段段的，并行求平均值和标准差，超过3 sigma的定义为abnormal是不是也可以。

【 在 lightroom(吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】

: 这种问题基本两个思路。一个是density estimation. 另一个是nearest
neighbors,

: wdong是这方面专家。

: density estimation应该有on line的。

对，他没定义什么是“abnormal", 所以我当初看不懂。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 他这个没有讲什么叫abnormal, 为什么可以做？
: 要是拍脑袋的话。那么
: 分成一段段的，并行求平均值和标准差，超过3 sigma的定义为abnormal是不是也可
以。
:
: 这种问题基本两个思路。一个是density estimation. 另一个是nearest
: neighbors,
:
: wdong是这方面专家。
:
: density estimation应该有on line的。
:

我没看懂为啥要用knn. 缺太多信息了。

【 在 wdong(万事休) 的大作中提到: 】

: 如你所说，我的kgraph能比covertree更快。跑一遍，所有点的knn就同时都出找来了，

: 程序可能还更简单。不过从暴力搜索到cover tree, 楼主大部分分数已经赚到了。

: neighbors,

要是画出那个3D图，估计大多人直观上能看出一些眉目来。但怎么coding，就难了（对我来说 :-）。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 我没看懂为啥要用knn. 缺太多信息了。
:
: 如你所说，我的kgraph能比covertree更快。跑一遍，所有点的knn就同时都出找
: 来了，
:
: 程序可能还更简单。不过从暴力搜索到cover tree, 楼主大部分分数已经赚到了。
:
: neighbors,
:

这个年轻人做的是对的。在公司都是这样，不求有功但求无过。先开始他propose的那
个办法，应该是在一些例子里有非常好的效果，然后脑子一热给你们看了。但是后来自己发现了对真实的生产数据会出很多corner cases, 他没有处理这些问题的经验。又不想告诉你们，所以就换傳統办法。任何人不可能说傳統方法是錯的。

【 在 SwiftDove(Swift Dove) 的大作中提到: 】

: 主任的问题只是最初他想象的。实际的问题是这样：在这每小时就能收集1亿的记录中

: ，已知道有一些“坏点”。 但这些“坏点”不一定不正常 （就像造产品有一定的费品

: 率）。要发现哪些地理区域的“坏点”对历史来说太高了，把这些区域和相关的基站找

: 出来。简单的是用bin/grid (bin的大小和迭代都似乎不好选择） 方法，但显然（主任

: 和我）认为不好。这也是那个年轻人

: 后来用的方法。最后他也不知道怎么再把bin再分类，基本上就停止了开发。

画图没用。开会的图是用来让你看出道理来的。看不出来的话，这图就白画了。他画的图，未必是你的主任想要的。
我的意思是，未必会导致你的主任让人去修基站，对吧？

我做过工业设备的fault diagnostic。有两点浅见：
第一，假如我这个算法给了。
你要先定义好如何验证我找出来的点是不是你要的坏点。
不然容易鸡同鸭讲。

第二，如果你不知道如何验证，那也可以。你要告诉我，假如我给了你挑出来了我认为的坏点，你的后续actions 是什么。你后续是画个手机去可视图看看完事，还是说后续就关机器了，还是说派人去修机器。这里面区别重大。

总之，我认为你的主任多数情况下不知道什么是坏点。他可能连啥叫定义，都和你的理解不同。咱们的办法是，假设我给你找出来了坏点，后续动作是什么。从后面的后果，反推这个算法的指标。

这就是逻辑实证主义的办法。把现实世界要发生的动作和后果能描述的描述出来。而不是从数学出发。

最后，这他妈工业设备相关的东西，技术属于机密，干起来非常累，工资还不高。以前我在汽车公司分析过车辆回来的地理信息数据。纯粹屌丝的活。
【 在 SwiftDove(Swift Dove) 的大作中提到: 】
<br>: 要是画出那个3D图，估计大多人直观上能看出一些眉目来。但怎么coding，就难
了（对
<br>: 我来说 :-）。
<br>: 了。
<br>

这个，咱当初看了问题不很懂，咱也不敢问，怕被贻笑大方（没人能解决，不是我
的错吧 :-). 附上那个年轻人的图（我觉得这个图对我后来的思路帮助很大）。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 画图没用。开会的图是用来让你看出道理来的。看不出来的话，这图就白画了。他画的
: 图，未必是你的主任想要的。
: 我的意思是，未必会导致你的主任让人去修基站，对吧？
: 我做过工业设备的fault diagnostic。有两点浅见：
: 第一，假如我这个算法给了。
: 你要先定义好如何验证我找出来的点是不是你要的坏点。
: 不然容易鸡同鸭讲。
: 第二，如果你不知道如何验证，那也可以。你要告诉我，假如我给了你挑出来了我认为
: 的坏点，你的后续actions 是什么。你后续是画个手机去可视图看看完事，还是说后续
: 就关机器了，还是说派人去修机器。这里面区别重大。
: ...................

t_number是什么？

关键还是一个问题。假如我挑出来了坏点，你打算拿这些坏点干什么？这个问题描述好了，才好往回倒推算法。

算法首选成熟的课本算法。关键是参数要问题定义好才好决定。

【 在 SwiftDove(Swift Dove) 的大作中提到: 】

: 这个，咱当初看了问题不很懂，咱也不敢问，怕被贻笑大方（没人能解决，
不是我

: 的错吧 :-). 附上那个年轻人的图（我觉得这个图对我后来的思路帮助很大）。

找到了坏点出现太多的区域，可以估测那个区域的站点有问题（可让 field engineers 或其他相关部门人员去修等）。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: t_number是什么？
: 关键还是一个问题。假如我挑出来了坏点，你打算拿这些坏点干什么？这个问题描述好
: 了，才好往回倒推算法。
: 算法首选成熟的课本算法。关键是参数要问题定义好才好决定。
:
: 这个，咱当初看了问题不很懂，咱也不敢问，怕被贻笑大方（没人能解决，
: 不是我
:
: 的错吧 :-). 附上那个年轻人的图（我觉得这个图对我后来的思路帮助很大）。
:

我会先算平均值和标准差。如果距离平均值太远，那就值得检查。

那四个五角星就是平均值吧。

不过这活真心不好干。
【 在 SwiftDove(Swift Dove) 的大作中提到: 】
<br>: 找到了坏点出现太多的区域，可以估测那个区域的站点有问题（可让
field
engineers
<br>: 或其他相关部门人员去修等）。
<br>

忘了说了。感谢分享工作经验。顺便问下，你也是c plus实现的吗？

这个更多是空间cluster,时间上估计分段就可以

【 在 wflower (流) 的大作中提到: 】
: Time series anormaly detection
:
: Hourly count of the records of the data in prod that is needed to
: process
:
: is more than 100 millions.
:

结合你的描述和数据，看起来像手机网络信号的数据，还缺一个信号强度或者dropped-call次数之类的数值。能说完整的数据吗？

【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: 去年我们主任提出一个技术问题问整个部门的人有没有方法解决，我当时看了一眼也
: 不太懂，也没花时间。后来组里一个刚毕业的年轻人，用python把主任提的问题做了个
: 3D图，直观上看起来似乎有方法了。他还提到用DBScan可以有帮助。
: 接下来这个年轻人要到我们部门别的组（公司培养政策），仍然做这个问题。我们组
: 也还想做这个问题。我花了些时间，提出了用数学上的凸包（跟地理空间有关）可以解
: 决另一个技术难点。过了一段时间，我们组做了些实验原型。我们演示的时候，那个年
: 轻人的组也报告了他们的进展。我们惊奇地发现他们抛弃了他的最初的好主意，用了些
: 平淡无奇又没多大效果的方法。
: 接下来我们继续我们的。。。结果发现很多DBScan包对上百万点处理太慢。几天也
: 做不出来。花了很长时间。。。当时用的一个包的主要开发者在stackoverflow上提到
: ...................

的确有你说的这些信息，但我们这个阶段还没有考虑这个指标。 其实，我后来觉得主
任把问题抽象得挺有水平。等一等我介绍我的方法。思想也比较简单，但实施起来太费劲。。。像DBSCAN 和GEOSPARK， 对本人都是新东西。前者本身就很tricky。。。据说很多所
谓的（Spark）包，其实很慢，对大数据根本做不出来。更有说有的包结果都是错的。

【 在 longtian (有人的地方,就有江湖) 的大作中提到: 】
: 结合你的描述和数据，看起来像手机网络信号的数据，还缺一个信号强度或者
dropped-
: call次数之类的数值。能说完整的数据吗？

好像你还没有看出这个图里的秘密。。。从时间纬度向下看，你觉得哪儿像有问题？

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 我会先算平均值和标准差。如果距离平均值太远，那就值得检查。
: 那四个五角星就是平均值吧。
: 不过这活真心不好干。
:
: 找到了坏点出现太多的区域，可以估测那个区域的站点有问题（可让
: field
: engineers
:
: 或其他相关部门人员去修等）。
:

那你现在的问题就是spatial clustering。
DBscan我知道SAS做的不错，我在去年一个人脸识别的时候用过。

【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: 的确有你说的这些信息，但我们这个阶段还没有考虑这个指标。 其实，我后来觉得主
: 任把问题抽象得挺有水平。等一等我介绍我的方法。思想也比较简单，但实施起来太费
: 劲。。。像DBSCAN 和GEOSPARK， 对本人都是新东西。前者本身就很tricky。。。据说
: 很多所
: 谓的（Spark）包，其实很慢，对大数据根本做不出来。更有说有的包结果都是错的。
: dropped-

FT,你这个难道不应该先告诉别人什么叫做有问题么？这是这个project的头等意义所在

【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: 好像你还没有看出这个图里的秘密。。。从时间纬度向下看，你觉得哪儿像有问题？

原问题想让别人“detect”出来问题在哪儿，而不是告诉你问题在哪儿让你写算法（算法是第二步：b. Propose a scalable algorithm to find them）。

【 在 Caravel (克拉维尔) 的大作中提到: 】
: FT,你这个难道不应该先告诉别人什么叫做有问题么？这是这个project的头等意义所在

那也要有训练数据吧，你这个五角星是坏点？颜色是什么？另外一个kPI
【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: 原问题想让别人“detect”出来问题在哪儿，而不是告诉你问题在哪儿让你写算法（算
: 法是第二步：b. Propose a scalable algorithm to find them）。

你們現在的解決方案得到的結果，有沒有和真實的基站故障記錄比較？我猜還沒有，對吧？

【 在 SwiftDove(Swift Dove) 的大作中提到: 】

: 好像你还没有看出这个图里的秘密。。。从时间纬度向下看，你觉得哪儿像有问题？

当然验证了结果。。。那是另外一个话题： 我们给出了这些区域和站点，主任让我们
部门的另一个组看看这些地方是不是真有问题。那个组看来看去，告诉我们看不出有什么问题。我们经理不甘心： 我们知道那个组可能没有能力，也可能有嫉妒心，也可能
两者兼有。拖了几个月，我们找到另外一个部门（我们知道有能力的人）研究我们的结果，他们很快的通过其他系统（这些站点本身也有上千个kpi）发现的确这些地方有问
题（或合理的解释）。那也是另外一个部门的主任很赞许我们的努力，当然他们现在也得到了很多的credits。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 你們現在的解決方案得到的結果，有沒有和真實的基站故障記錄比較？我猜還沒有，對
: 吧？
:
: 好像你还没有看出这个图里的秘密。。。从时间纬度向下看，你觉得哪儿像有问
: 题？
:

不錯。最後還是事實說話。但是驗證這一步確實很麻煩。
按我的理解，你們的結果從後果來看，一個驗證組認可，另一個組沒有認可。假如你們到後來要推進到派人去修基站這一步，會有更多類似的麻煩。

【 在 SwiftDove(Swift Dove) 的大作中提到: 】
<br>: 当然验证了结果。。。那是另外一个话题： 我们给出了这些区域和站点
，主任
让我们
<br>: 部门的另一个组看看这些地方是不是真有问题。那个组看来看去，告诉我们看不
出有什
<br>: 么问题。我们经理不甘心： 我们知道那个组可能没有能力，也可能有嫉
妒心，
也可能
<br>: 两者兼有。拖了几个月，我们找到另外一个部门（我们知道有能力的人）研究我
们的结
<br>: 果，他们很快的通过其他系统（这些站点本身也有上千个kpi）发现的确
这些地
方有问
<br>: 题（或合理的解释）。那也是另外一个部门的主任很赞许我们的努力，当然他们
现在也
<br>: 得到了很多的credits。
<br>

LZ怎么解决数据里seasonality的问题？比如某个区域本来是周日的时候坏点很多，结
果这次变成周一的时候很多？如果不考虑seasonality，这样的anomaly是detect不到的吧

这个我们很有经验了： 我们用过去13个礼拜的每个礼拜同一天同一个小时的“坏点”
率做统计分析。有时还得调整夏时制带来得麻烦。

【 在 wwrechard (木有...) 的大作中提到: 】
: LZ怎么解决数据里seasonality的问题？比如某个区域本来是周日的时候坏点很多，结
: 果这次变成周一的时候很多？如果不考虑seasonality，这样的anomaly是detect不到的吧

所以这是weekly+hourly? 如果需要做quarterly或者annually就需要重新改？

【 在 SwiftDove (Swift Dove) 的大作中提到: 】
: 这个我们很有经验了： 我们用过去13个礼拜的每个礼拜同一天同一个小时的“坏点”
: 率做统计分析。有时还得调整夏时制带来得麻烦。
: 的吧

分类当下最火的方法应该有tSNE一个吧。DBSCAN还有KNN都太老了。