How Did We Do? Trying to Make a Quantitative Assessment of a Subjective Topic

Heyward had the pressure of being #1, but more than held his own

One of the things about the business of prospect analysis is that by the time players actually determine what type of Major League career they will have no one remembers what you said about them. This is sometimes good (John Stephens) and sometimes unfortunate (Albert Pujols). So while we are getting ready for our winter prospect lists, I decided to take a look back at how some of the more major prospect analysts ranked players this past season. A couple of caveats…realize that all we are doing is comparing where players were ranked at the beginning of the season vs. how their prospect status changed over the course of the year. Some of the sources that don’t look very good right now, could well end up having the last laugh when all is said and done.

As to the methodology…I assembled a pre-season Top 100 list from a consensus of six sources. They are: Baseball America, Keith Law, Baseball Prospectus, Hardball Times, Fan Graphs and our very own rankings. To that I added the ten players that were the highest rated prospects by Baseball America that weren’t in the original 100. Then I added our ten highest rated players not already on the list. This gave us the following pool of 120 players:


CONSENSUS PLAYER POS TEAM
1 ) Heyward, Jason , OF , ATL
2 ) Strasburg, Stephen , RHP , WAS
3 ) Jennings, Desmond , OF , TB
4 ) Stanton, Mike , OF , FLA
5 ) Posey, Buster , C , SF
6 ) Montero, Jesus , C , NYY
7 ) Santana, Carlos , C , CLE
8 ) Feliz, Neftali , RHP , TEX
9 ) Matusz, Brian , LHP , BAL
10 ) Alvarez, Pedro , 3B , PIT
11 ) Smoak, Justin , 1B , TEX
12 ) Perez, Martin , LHP , TEX
13 ) Hellickson, Jeremy , RHP , TB
14 ) Bumgarner, Madison , LHP , SF
15 ) Ackley, Dustin , OF , SEA
16 ) Chapman, Aroldis , LHP , CIN
17 ) Matzek, Tyler , LHP , COL
18 ) Morrison, Logan , 1B , FLA
19 ) Kelly, Casey , RHP , BOS
20 ) Carter, Chris , 1B , OAK
21 ) Brown, Domonic , OF , PHI
22 ) Castro, Starlin , SS , CHC
23 ) Escobar, Alcides , SS , MIL
24 ) Friedrich, Christian , LHP , COL
25 ) Hicks, Aaron , OF , MIN
26 ) Wallace, Brett , 3B , TOR
27 ) Westmoreland, Ryan , OF , BOS
28 ) Drabek, Kyle , RHP , TOR
29 ) Davis, Wade , RHP , TB
30 ) Chisenhall, Lonnie , SS , CLE
31 ) Norris, Derek , C , WAS
32 ) Taylor, Michael , OF , OAK
33 ) Montgomery, Mike , LHP , KC
34 ) Parker, Jarrod , RHP , AZ
35 ) Freeman, Freddie , 1B , ATL
36 ) Moore, Matt , LHP , TB
37 ) Turner, Jacob , RHP , DET
38 ) Mejia, Jenrry , RHP , NYM
39 ) Crosby, Casey , LHP , DET
40 ) Miller, Shelby , RHP , STL
41 ) Castro, Jason , C , HOU
42 ) Vitters, Josh , 3B , CHC
43 ) Gordon, Dee , SS , LAD
44 ) Teheran, Julio , RHP , ATL
45 ) Beckham, Tim , SS , TB
46 ) Moustakas, Mike , 3B , KC
47 ) Martinez, Fernando , OF , NYM
48 ) Bell, Josh , 3B , BAL
49 ) Decker, Jaff , OF , SD
50 ) Lawrie, Brett , C , MIL
51 ) Alonso, Yonder , 1B , CIN
52 ) Flowers, Tyler , C , CHW
53 ) Crow, Aaron , RHP , KC
54 ) Conger, Hank , C , LAA
55 ) Tate, Donavan , OF , SD
56 ) Castro, Simon , RHP , SD
57 ) Gibson, Kyle , RHP , MIN
58 ) Ramos, Wilson , C , MIN
59 ) Scheppers, Tanner , RHP , TEX
60 ) Jackson, Austin , OF , DET
61 ) Wheeler, Zach , RHP , SF
62 ) Hudson, Daniel , RHP , CHW
63 ) Saunders, Michael , OF , SEA
64 ) Rondon, Hector , RHP , CLE
65 ) Withrow, Chris , RHP , LAD
66 ) Vizcaino, Arodys , RHP , ATL
67 ) Trout, Mike , OF , LAA
68 ) Arrieta, Jake , RHP , BAL
69 ) Davis, Ike , 1B , NYM
70 ) Green, Grant , SS , OAK
71 ) Lyles, Jordan , RHP , HOU
72 ) Leake, Mike , RHP , CIN
73 ) Mier, Jiovanni , SS , HOU
74 ) Chacin, Jhoulys , RHP , COL
75 ) Britton, Zach , LHP , BAL
76 ) Flores, Wilmer , SS , NYM
77 ) Sanchez, Tony , C , PIT
78 ) Hosmer, Eric , 1B , KC
79 ) Frazier, Todd , SS , CIN
80 ) Mitchell, Jared , OF , CHW
81 ) Storen, Drew , RHP , WAS
82 ) White, Alex , RHP , CLE
83 ) Sizemore, Scott , 2B , DET
84 ) Revere, Ben , OF , MIN
85 ) Brignac, Reid , SS , TB
86 ) Sano, Miguel , SS , MIN
87 ) Darnell, James , 3B , SD
88 ) Hagadone, Nick , LHP , CLE
89 ) Anderson, Lars , 1B , BOS
90 ) Knapp, Jason , RHP , CLE
91 ) Reckling, Trevor , LHP , LAA
92 ) Tabata, Jose , OF , PIT
93 ) Dominguez, Matt , 3B , FLA
94 ) Cashner, Andrew , RHP , CHC
95 ) Duffy, Danny , LHP , KC
96 ) Tazawa, Junichi , RHP , BOS
97 ) Alderson, Tim , RHP , PIT
98 ) Colome, Alex , RHP , TB
99 ) Allen, Brandon , 1B , AZ
100 ) Jackson, Jay , RHP , CHC
101 ) Garcia, Jaime , LHP , STL
102 ) Aumont, Phillippe , RHP , PHI
103 ) Lee, Hak-Ju , SS , CHC
104 ) Kalish, Ryan , OF , BOS
105 ) Neal, Thomas , OF , SF
107 ) Myers, Wil , C , KC
108 ) Romine, Austin , C , NYY
113 ) Jackson, Brett , OF , CHC
114 ) Liddi, Alex , 3B , SEA
115 ) Reddick, Josh , OF , BOS
116 ) Banuelos, Manny , LHP , NYY
121 ) James, Chad , LHP , FLA
122 ) Moore, Adam , C , SEA
127 ) Delgado, Randall , RHP , ATL
128 ) Borchering, Bobby , 3B , AZ
131 ) Viciedo, Dayan , 3B , CHW
136 ) d'Arnaud, Travis , C , TOR
139 ) Francisco, Juan , 3B , CIN
141 ) Gamel, Mat , 3B , MIL
144 ) Arguelles, Noel , LHP , KC

Now, when I started, I just intended to compare our ratings with Baseball America’s; but since I had used four additional sources, I decided to examine each one. What I did was I divided the player pool into three groups: One group (35 players) that had improved their prospect status over the course of the season, One group (35 players) whose prospect status has taken a bit of a fall—this is in comparison to the pre-season consensus rankings—and the remaining group (50 players) that pretty much met the expectations that the consensus 'we' had for them going into the year. Yes…this is somewhat subjective, but when you take a look at the groupings below, I don’t think there is too much to disagree with here. I have listed the three groups separately, as well as where each of the sources ranked the player. (BA=Baseball America; KL=Keith Law; HT = The Hardball Times; BP=Baseball Prospectus; FG=Fan Graphs; Diamond Futures)

Players That Improved Their Prospect Status

CONSENSUS PLAYER POS TEAM... BA ... KL ... HT ... BP ... FG ... DF
1 ) Heyward, Jason , OF , ATL … 1 … 1 … 1 … 2 … 1 … 1
2 ) Strasburg, Stephen , RHP , WAS … 2 … 2 … 2 … 1 … 2 … 2
4 ) Stanton, Mike , OF , FLA … 3 … 5 … 15 … 5 … 4 … 7
5 ) Posey, Buster , C , SF … 7 … 4 … 11 … 9 … 5 … 4
7 ) Santana, Carlos , C , CLE … 10 … 3 … 7 … 8 … 7 … 8
10 ) Alvarez, Pedro , 3B , PIT … 8 … 35 … 10 … 6 … 10 … 3
13 ) Hellickson, Jeremy , RHP , TB … 18 … 17 … 19 … 13 … 14 … 14
22 ) Castro, Starlin , SS , CHC … 16 … 12 … 44 … 37 … 25 … 16
33 ) Montgomery, Mike , LHP , KC … 39 … 75 … 54 … 36 … 29 … 28
36 ) Moore, Matt , LHP , TB … 35 … 81 … 43 … 41 … 52 … 38
40 ) Miller, Shelby , RHP , STL … 50 … 38 … 28 … 38 … 42 … 73
44 ) Teheran, Julio , RHP , ATL … 51 … 63 … 58 … 33 … 37 … 65
46 ) Moustakas, Mike , 3B , KC … 80 … 69 … 23 … 79 … 41 … 60
57 ) Gibson, Kyle , RHP , MIN … 61 … 89 … 90 … 71 … 77 … 41
60 ) Jackson, Austin , OF , DET … 76 … 70 … 138 … 49 … 51 … 92
66 ) Vizcaino, Arodys , RHP , ATL … 69 … 43 … 116 … 45 … 57 … 67
67 ) Trout, Mike , OF , LAA … 85 … 49 … 92 … 53 … 81 … 43
69 ) Davis, Ike , 1B , NYM … 62 … 64 … 94 … 87 … 63 … 158
70 ) Green, Grant , SS , OAK … 52 … 93 … 48 … 86 … - … 30
71 ) Lyles, Jordan , RHP , HOU … 91 … 60 … 38 … - … 58 … 89
72 ) Leake, Mike , RHP , CIN … 72 … 72 … 60 … 59 … 92 … 72
74 ) Chacin, Jhoulys , RHP , COL … 71 … 48 … 20 … - … 69 … 86
75 ) Britton, Zach , LHP , BAL … 63 … 25 … 120 … 73 … 78 … 94
78 ) Hosmer, Eric , 1B , KC … 105 … 34 … 47 … - … 45 … 100
81 ) Storen, Drew , RHP , WAS … 92 … 92 … 124 … 60 … - … 54
86 ) Sano, Miguel , SS , MIN … 94 … 97 … 99 … 35 … - … 76
92 ) Tabata, Jose , OF , PIT … - … 57 … 186 … 90 … 93 … 56
94 ) Cashner, Andrew , RHP , CHC … 95 … 79 … - … - … 24 … 104
101 ) Garcia, Jaime , LHP , STL … 105 … - … 109 … - … - … 61
104 ) Kalish, Ryan , OF , BOS … - … 86 … 145 … 76 … - … 66
107 ) Myers, Wil , C , KC … 105 … - … 130 … 83 … - … 64
116 ) Banuelos, Manny , LHP , NYY … - … 96 … 86 … - … - … 85
127 ) Delgado, Randall , RHP , ATL … - … 85 … 110 … - … - … 105
131 ) Viciedo, Dayan , 3B , CHW … - … - … - … - … - … 90
139 ) Francisco, Juan , 3B , CIN … - … - … 103 … - … - … 78

The top four names on this list all entered the season rated among the top five prospects, but I think it is hard to argue that each of them surpassed even the lofty expectations that were held for them with their remarkable Big League debuts.

Players Whose Prospect Status Has Fallen

CONSENSUS PLAYER POS TEAM... BA ... KL ... HT ... BP ... FG ... DF
3 ) Jennings, Desmond , OF , TB … 6 … 6 … 4 … 7 … 3 … 5
19 ) Kelly, Casey , RHP , BOS … 24 … 18 … 35 … 30 … 22 … 27
20 ) Carter, Chris , 1B , OAK … 28 … 33 … 25 … 11 … 19 … 37
23 ) Escobar, Alcides , SS , MIL … 12 … 54 … 31 … 19 … 15 … 29
24 ) Friedrich, Christian , LHP , COL … 33 … 36 … 14 … 22 … 11 … 36
25 ) Hicks, Aaron , OF , MIN … 19 … 19 … 53 … 26 … 23 … 15
27 ) Westmoreland, Ryan , OF , BOS … 21 … 32 … 39 … 14 … 35 … 22
32 ) Taylor, Michael , OF , OAK … 29 … 24 … 63 … 20 … 50 … 39
39 ) Crosby, Casey , LHP , DET … 47 … 45 … 76 … 32 … 44 … 47
41 ) Castro, Jason , C , HOU … 41 … 65 … 49 … 100 … 53 … 53
42 ) Vitters, Josh , 3B , CHC … 70 … 30 … 112 … 31 … 48 … 44
45 ) Beckham, Tim , SS , TB … 67 … 29 … 75 … 56 … 27 … 82
48 ) Bell, Josh , 3B , BAL … 37 … 61 … 133 … 39 … 38 … 59
52 ) Flowers, Tyler , C , CHW … 60 … 58 … 29 … 72 … 39 … 186
53 ) Crow, Aaron , RHP , KC … 40 … 87 … 88 … 54 … - … 49
55 ) Tate, Donavan , OF , SD … 53 … - … 9 … 29 … - … 55
58 ) Ramos, Wilson , C , MIN … 58 … 42 … 132 … 65 … 43 … 84
63 ) Saunders, Michael , OF , SEA … 30 … 74 … 16 … 62 … 84 … 121
64 ) Rondon, Hector , RHP , CLE … - … 51 … 17 … - … 91 … 40
65 ) Withrow, Chris , RHP , LAD … 48 … 83 … 84 … 40 … - … 42
73 ) Mier, Jiovanni , SS , HOU … 73 … 94 … 40 … 97 … 79 … 50
79 ) Frazier, Todd , SS , CIN … 43 … 66 … 158 … 67 … - … 106
83 ) Sizemore, Scott , 2B , DET … - … 107 … 30 … 57 … - … 193
85 ) Brignac, Reid , SS , TB … 54 … - … 77 … 69 … - … 114
87 ) Darnell, James , 3B , SD … 90 … - … 96 … 64 … - … 88
88 ) Hagadone, Nick , LHP , CLE … 44 … 100 … - … 91 … 85 … 166
96 ) Tazawa, Junichi , RHP , BOS … - … 98 … 147 … - … 72 … 120
97 ) Alderson, Tim , RHP , PIT … - … - … 74 … - … - … 58
98 ) Colome, Alex , RHP , TB … 68 … - … - … 42 … - … 80
100 ) Jackson, Jay , RHP , CHC … 98 … 50 … 123 … - … 99 … 138
102 ) Aumont, Phillippe , RHP , PHI … 93 … - … 126 … 78 … - … 170
105 ) Neal, Thomas , OF , SF … 96 … - … 105 … - … 75 … 102
115 ) Reddick, Josh , OF , BOS … 75 … - … 160 … 58 … - … 115
122 ) Moore, Adam , C , SEA … 83 … - … - … - … - … 175
144 ) Arguelles, Noel , LHP , KC … 100 … - … - … - … - … 96

Players Who Met Pre-Season Expectations

CONSENSUS PLAYER POS TEAM... BA ... KL ... HT ... BP ... FG ... DF
6 ) Montero, Jesus , C , NYY … 4 … 10 … 3 … 4 … 8 … 6
8 ) Feliz, Neftali , RHP , TEX … 9 … 13 … 12 … 3 … 6 … 10
9 ) Matusz, Brian , LHP , BAL … 5 … 11 … 6 … 18 … 13 … 9
11 ) Smoak, Justin , 1B , TEX … 13 … 9 … 8 … 17 … 16 … 11
12 ) Perez, Martin , LHP , TEX … 17 … 7 … 13 … 15 … 20 … 13
14 ) Bumgarner, Madison , LHP , SF … 14 … 28 … 5 … 21 … 17 … 21
15 ) Ackley, Dustin , OF , SEA … 11 … 8 … 52 … 12 … 12 … 12
16 ) Chapman, Aroldis , LHP , CIN … 22 … 16 … 61 … 10 … 18 … 20
17 ) Matzek, Tyler , LHP , COL … 23 … 22 … 21 … 23 … 26 … 19
18 ) Morrison, Logan , 1B , FLA … 20 … 21 … 18 … 50 … 21 … 18
21 ) Brown, Domonic , OF , PHI … 15 … 14 … 65 … 24 … 9 … 23
26 ) Wallace, Brett , 3B , TOR … 27 … 20 … 27 … 44 … 32 … 24
28 ) Drabek, Kyle , RHP , TOR … 25 … 40 … 62 … 16 … 33 … 26
29 ) Davis, Wade , RHP , TB … 34 … 15 … 36 … 34 … 28 … 62
30 ) Chisenhall, Lonnie , SS , CLE … 31 … 26 … 41 … 43 … 55 … 25
31 ) Norris, Derek , C , WAS … 38 … 31 … 45 … 28 … 31 … 33
34 ) Parker, Jarrod , RHP , AZ … 36 … 37 … 79 … 52 … 34 … 17
35 ) Freeman, Freddie , 1B , ATL … 32 … 67 … 37 … 51 … 36 … 31
37 ) Turner, Jacob , RHP , DET … 26 … 80 … 24 … 25 … 67 … 34
38 ) Mejia, Jenrry , RHP , NYM … 56 … 23 … 26 … 48 … 64 … 35
43 ) Gordon, Dee , SS , LAD … 46 … 39 … 95 … 27 … 30 … 70
47 ) Martinez, Fernando , OF , NYM … 77 … 73 … 57 … 80 … 46 … 46
49 ) Decker, Jaff , OF , SD … 82 … 27 … 33 … 74 … 98 … 57
50 ) Lawrie, Brett , C , MIL … 59 … 47 … 32 … 99 … 59 … 51
51 ) Alonso, Yonder , 1B , CIN … 45 … 76 … 51 … - … 47 … 32
54 ) Conger, Hank , C , LAA … 84 … 52 … 68 … 81 … 40 … 75
56 ) Castro, Simon , RHP , SD … 57 … 46 … 64 … 47 … 68 … 69
59 ) Scheppers, Tanner , RHP , TEX … 42 … 78 … 182 … 68 … 66 … 45
61 ) Wheeler, Zach , RHP , SF … 49 … 84 … 22 … 88 … 56 … 77
62 ) Hudson, Daniel , RHP , CHW … 66 … - … 71 … 55 … 65 … 79
68 ) Arrieta, Jake , RHP , BAL … 99 … 90 … 66 … 70 … 73 … 99
76 ) Flores, Wilmer , SS , NYM … 88 … 41 … 80 … 84 … - … 74
77 ) Sanchez, Tony , C , PIT … 79 … 82 … 78 … 75 … 60 … 87
80 ) Mitchell, Jared , OF , CHW … 55 … 95 … - … 61 … - … 83
82 ) White, Alex , RHP , CLE … 65 … - … 55 … 77 … 76 … 91
84 ) Revere, Ben , OF , MIN … 105 … - … 85 … 46 … - … 68
89 ) Anderson, Lars , 1B , BOS … 87 … 56 … 34 … - … - … 95
90 ) Knapp, Jason , RHP , CLE … 64 … - … 46 … 82 … - … 162
91 ) Reckling, Trevor , LHP , LAA … - … 77 … 89 … 92 … 89 … 93
93 ) Dominguez, Matt , 3B , FLA … - … 62 … 166 … - … 82 … 63
95 ) Duffy, Danny , LHP , KC … - … 102 … 50 … - … 94 … 71
99 ) Allen, Brandon , 1B , AZ … - … - … 83 … 85 … 74 … 101
103 ) Lee, Hak-Ju , SS , CHC … 105 … - … 149 … 63 … 88 … 111
108 ) Romine, Austin , C , NYY … 86 … - … 144 … - … 49 … 108
113 ) Jackson, Brett , OF , CHC … 74 … 108 … 117 … 96 … - … 81
114 ) Liddi, Alex , 3B , SEA … - … 106 … 91 … - … - … 48
121 ) James, Chad , LHP , FLA … 78 … - … 82 … - … - … 118
128 ) Borchering, Bobby , 3B , AZ … 105 … - … 193 … - … - … 52
136 ) d'Arnaud, Travis , C , TOR … 81 … 99 … 152 … - … - … 145
141 ) Gamel, Mat , 3B , MIL … 89 … - … - … - … 97 … 183


Tomorrow, we’ll take a look out some quantitative comparisons between the different 'experts'.