llama-7b


Find this model in the LLAMA model summary

llama-7b Model Summary Plots

llama-7b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 4096 4096 1.00 2.72 0.05 8.19 3.02 31
2 DENSE 4096 4096 1.00 1.37 0.06 3.96 2.90 35
3 DENSE 4096 4096 1.00 4.22 0.03 5.42 1.28 7
4 DENSE 4096 4096 1.00 3.77 0.02 6.35 1.68 6
5 DENSE 11008 4096 2.69 2.79 0.04 5.83 2.09 0
6 DENSE 11008 4096 2.69 4.80 0.03 11.06 2.30 0
7 DENSE 11008 4096 2.69 5.41 0.04 9.74 1.80 0
9 DENSE 4096 4096 1.00 3.61 0.04 9.54 2.65 13
10 DENSE 4096 4096 1.00 3.67 0.04 10.55 2.87 18
11 DENSE 4096 4096 1.00 4.37 0.02 5.08 1.16 7
12 DENSE 4096 4096 1.00 4.48 0.02 6.68 1.49 6
13 DENSE 11008 4096 2.69 2.79 0.02 6.28 2.26 0
14 DENSE 11008 4096 2.69 4.22 0.02 8.83 2.09 0
15 DENSE 11008 4096 2.69 5.45 0.06 8.28 1.52 0
17 DENSE 4096 4096 1.00 2.66 0.03 6.97 2.62 7
18 DENSE 4096 4096 1.00 3.07 0.02 8.75 2.85 10
19 DENSE 4096 4096 1.00 4.43 0.02 4.44 1.00 5
20 DENSE 4096 4096 1.00 4.67 0.02 8.41 1.80 4
21 DENSE 11008 4096 2.69 2.88 0.01 6.73 2.34 0
22 DENSE 11008 4096 2.69 4.87 0.02 8.78 1.80 0
23 DENSE 11008 4096 2.69 4.12 0.06 6.97 1.69 0
25 DENSE 4096 4096 1.00 2.56 0.03 6.68 2.61 4
26 DENSE 4096 4096 1.00 3.42 0.03 9.08 2.65 5
27 DENSE 4096 4096 1.00 4.30 0.04 4.98 1.16 3
28 DENSE 4096 4096 1.00 3.92 0.03 6.80 1.74 3
29 DENSE 11008 4096 2.69 3.60 0.01 7.76 2.16 0
30 DENSE 11008 4096 2.69 4.54 0.03 7.91 1.74 0
31 DENSE 11008 4096 2.69 8.26 0.02 12.29 1.49 0
33 DENSE 4096 4096 1.00 3.12 0.04 8.01 2.56 3
34 DENSE 4096 4096 1.00 2.79 0.04 7.32 2.63 5
35 DENSE 4096 4096 1.00 4.06 0.06 4.52 1.11 4
36 DENSE 4096 4096 1.00 4.16 0.03 7.07 1.70 4
37 DENSE 11008 4096 2.69 3.54 0.01 8.05 2.27 0
38 DENSE 11008 4096 2.69 6.43 0.03 11.55 1.79 0
39 DENSE 11008 4096 2.69 9.09 0.04 13.79 1.52 0
41 DENSE 4096 4096 1.00 3.86 0.04 9.46 2.45 5
42 DENSE 4096 4096 1.00 3.69 0.02 9.40 2.55 5
43 DENSE 4096 4096 1.00 4.27 0.04 4.87 1.14 4
44 DENSE 4096 4096 1.00 3.79 0.04 6.85 1.81 3
45 DENSE 11008 4096 2.69 3.38 0.02 8.04 2.38 0
46 DENSE 11008 4096 2.69 6.85 0.04 12.02 1.75 0
47 DENSE 11008 4096 2.69 5.61 0.02 8.54 1.52 0
49 DENSE 4096 4096 1.00 2.81 0.04 6.81 2.42 5
50 DENSE 4096 4096 1.00 3.31 0.03 8.43 2.55 4
51 DENSE 4096 4096 1.00 4.29 0.05 4.76 1.11 3
52 DENSE 4096 4096 1.00 4.41 0.04 7.37 1.67 3
53 DENSE 11008 4096 2.69 3.41 0.01 7.93 2.32 0
54 DENSE 11008 4096 2.69 6.36 0.05 10.95 1.72 0
55 DENSE 11008 4096 2.69 5.19 0.03 8.23 1.59 0
57 DENSE 4096 4096 1.00 2.51 0.04 6.03 2.40 4
58 DENSE 4096 4096 1.00 2.79 0.03 7.03 2.52 3
59 DENSE 4096 4096 1.00 4.47 0.05 5.26 1.18 3
60 DENSE 4096 4096 1.00 4.74 0.03 7.25 1.53 3
61 DENSE 11008 4096 2.69 3.39 0.01 7.88 2.32 0
62 DENSE 11008 4096 2.69 6.20 0.05 10.78 1.74 0
63 DENSE 11008 4096 2.69 4.80 0.03 7.86 1.64 0
65 DENSE 4096 4096 1.00 2.57 0.03 6.01 2.34 3
66 DENSE 4096 4096 1.00 2.94 0.03 7.20 2.44 4
67 DENSE 4096 4096 1.00 3.30 0.05 4.08 1.23 3
68 DENSE 4096 4096 1.00 3.75 0.04 5.67 1.51 4
69 DENSE 11008 4096 2.69 3.23 0.01 7.72 2.39 0
70 DENSE 11008 4096 2.69 4.46 0.04 8.09 1.81 0
71 DENSE 11008 4096 2.69 4.57 0.03 7.60 1.66 0
73 DENSE 4096 4096 1.00 4.17 0.03 9.72 2.33 4
74 DENSE 4096 4096 1.00 3.58 0.04 8.80 2.46 4
75 DENSE 4096 4096 1.00 2.89 0.05 3.76 1.30 4
76 DENSE 4096 4096 1.00 3.50 0.05 5.34 1.52 3
77 DENSE 11008 4096 2.69 3.32 0.02 7.77 2.34 0
78 DENSE 11008 4096 2.69 3.47 0.04 6.38 1.84 0
79 DENSE 11008 4096 2.69 4.52 0.03 7.81 1.73 0
81 DENSE 4096 4096 1.00 3.00 0.03 6.93 2.31 3
82 DENSE 4096 4096 1.00 2.85 0.03 6.99 2.45 3
83 DENSE 4096 4096 1.00 3.23 0.06 4.14 1.28 3
84 DENSE 4096 4096 1.00 3.96 0.04 5.84 1.48 3
85 DENSE 11008 4096 2.69 3.45 0.02 8.00 2.32 0
86 DENSE 11008 4096 2.69 3.36 0.04 5.99 1.79 0
87 DENSE 11008 4096 2.69 4.45 0.04 7.70 1.73 0
89 DENSE 4096 4096 1.00 4.14 0.04 9.89 2.39 2
90 DENSE 4096 4096 1.00 2.90 0.03 7.39 2.55 4
91 DENSE 4096 4096 1.00 3.50 0.07 4.22 1.21 4
92 DENSE 4096 4096 1.00 9.82 0.07 12.87 1.31 3
93 DENSE 11008 4096 2.69 3.43 0.02 8.12 2.36 0
94 DENSE 11008 4096 2.69 3.70 0.04 6.51 1.76 0
95 DENSE 11008 4096 2.69 4.21 0.03 7.69 1.83 0
97 DENSE 4096 4096 1.00 2.78 0.04 6.40 2.30 4
98 DENSE 4096 4096 1.00 2.67 0.03 6.59 2.46 4
99 DENSE 4096 4096 1.00 3.88 0.07 4.67 1.20 3
100 DENSE 4096 4096 1.00 4.28 0.05 6.10 1.42 4
101 DENSE 11008 4096 2.69 3.48 0.01 8.46 2.43 0
102 DENSE 11008 4096 2.69 3.87 0.03 6.82 1.76 0
103 DENSE 11008 4096 2.69 4.67 0.03 8.40 1.80 0
105 DENSE 4096 4096 1.00 2.90 0.03 6.66 2.30 2
106 DENSE 4096 4096 1.00 2.85 0.02 6.94 2.43 3
107 DENSE 4096 4096 1.00 7.06 0.07 8.57 1.21 2
108 DENSE 4096 4096 1.00 4.63 0.05 6.59 1.42 4
109 DENSE 11008 4096 2.69 3.56 0.01 8.45 2.38 0
110 DENSE 11008 4096 2.69 3.85 0.02 6.71 1.74 0
111 DENSE 11008 4096 2.69 4.61 0.03 8.50 1.84 0
113 DENSE 4096 4096 1.00 2.69 0.05 6.26 2.32 3
114 DENSE 4096 4096 1.00 2.98 0.03 7.34 2.46 3
115 DENSE 4096 4096 1.00 6.88 0.04 7.97 1.16 3
116 DENSE 4096 4096 1.00 4.07 0.04 5.81 1.43 3
117 DENSE 11008 4096 2.69 3.67 0.01 8.56 2.33 0
118 DENSE 11008 4096 2.69 3.73 0.01 6.41 1.72 0
119 DENSE 11008 4096 2.69 5.00 0.03 9.12 1.82 0
121 DENSE 4096 4096 1.00 2.72 0.04 6.32 2.32 2
122 DENSE 4096 4096 1.00 2.69 0.01 6.64 2.47 3
123 DENSE 4096 4096 1.00 9.01 0.06 9.78 1.09 2
124 DENSE 4096 4096 1.00 5.78 0.04 8.49 1.47 4
125 DENSE 11008 4096 2.69 3.74 0.01 8.61 2.30 0
126 DENSE 11008 4096 2.69 4.03 0.01 6.77 1.68 0
127 DENSE 11008 4096 2.69 4.81 0.03 8.95 1.86 0
129 DENSE 4096 4096 1.00 2.89 0.03 6.85 2.37 2
130 DENSE 4096 4096 1.00 2.92 0.01 7.33 2.51 3
131 DENSE 4096 4096 1.00 6.59 0.05 7.90 1.20 3
132 DENSE 4096 4096 1.00 6.09 0.02 9.80 1.61 3
133 DENSE 11008 4096 2.69 3.71 0.01 8.71 2.35 0
134 DENSE 11008 4096 2.69 4.69 0.01 7.87 1.68 0
135 DENSE 11008 4096 2.69 4.96 0.01 9.33 1.88 0
137 DENSE 4096 4096 1.00 2.87 0.03 6.68 2.33 2
138 DENSE 4096 4096 1.00 2.85 0.01 7.03 2.46 2
139 DENSE 4096 4096 1.00 13.80 0.05 15.69 1.14 2
140 DENSE 4096 4096 1.00 7.17 0.03 10.82 1.51 3
141 DENSE 11008 4096 2.69 3.74 0.01 8.79 2.35 0
142 DENSE 11008 4096 2.69 5.13 0.01 8.49 1.66 0
143 DENSE 11008 4096 2.69 5.05 0.01 9.25 1.83 0
145 DENSE 4096 4096 1.00 2.59 0.04 6.09 2.36 3
146 DENSE 4096 4096 1.00 2.75 0.02 6.78 2.47 3
147 DENSE 4096 4096 1.00 9.18 0.06 9.95 1.08 2
148 DENSE 4096 4096 1.00 7.18 0.03 10.55 1.47 2
149 DENSE 11008 4096 2.69 3.77 0.01 8.73 2.32 0
150 DENSE 11008 4096 2.69 5.26 0.02 8.80 1.67 0
151 DENSE 11008 4096 2.69 5.34 0.01 9.65 1.81 0
153 DENSE 4096 4096 1.00 2.76 0.02 6.53 2.37 3
154 DENSE 4096 4096 1.00 2.91 0.02 7.18 2.46 3
155 DENSE 4096 4096 1.00 9.96 0.03 12.40 1.24 3
156 DENSE 4096 4096 1.00 7.32 0.04 10.90 1.49 2
157 DENSE 11008 4096 2.69 3.80 0.01 8.73 2.30 0
158 DENSE 11008 4096 2.69 5.79 0.02 9.63 1.67 0
159 DENSE 11008 4096 2.69 5.48 0.01 9.49 1.73 0
161 DENSE 4096 4096 1.00 3.09 0.02 7.36 2.38 2
162 DENSE 4096 4096 1.00 3.22 0.02 7.97 2.47 3
163 DENSE 4096 4096 1.00 7.84 0.05 8.97 1.15 3
164 DENSE 4096 4096 1.00 7.39 0.05 10.99 1.49 3
165 DENSE 11008 4096 2.69 3.81 0.01 8.73 2.29 0
166 DENSE 11008 4096 2.69 7.16 0.03 11.55 1.61 0
167 DENSE 11008 4096 2.69 5.54 0.02 9.57 1.73 0
169 DENSE 4096 4096 1.00 2.81 0.02 6.66 2.37 2
170 DENSE 4096 4096 1.00 2.86 0.03 7.01 2.45 3
171 DENSE 4096 4096 1.00 5.42 0.05 6.35 1.17 2
172 DENSE 4096 4096 1.00 8.62 0.06 15.06 1.75 3
173 DENSE 11008 4096 2.69 3.79 0.01 8.75 2.31 0
174 DENSE 11008 4096 2.69 8.44 0.04 12.80 1.52 0
175 DENSE 11008 4096 2.69 5.85 0.02 9.84 1.68 0
177 DENSE 4096 4096 1.00 3.28 0.01 7.76 2.37 4
178 DENSE 4096 4096 1.00 3.55 0.02 8.61 2.42 4
179 DENSE 4096 4096 1.00 7.00 0.02 9.04 1.29 2
180 DENSE 4096 4096 1.00 5.54 0.02 9.77 1.76 3
181 DENSE 11008 4096 2.69 3.87 0.02 8.65 2.23 0
182 DENSE 11008 4096 2.69 8.12 0.03 12.35 1.52 0
183 DENSE 11008 4096 2.69 6.54 0.03 10.54 1.61 0
185 DENSE 4096 4096 1.00 2.71 0.02 6.45 2.38 2
186 DENSE 4096 4096 1.00 2.98 0.03 7.28 2.44 3
187 DENSE 4096 4096 1.00 4.71 0.06 5.74 1.22 2
188 DENSE 4096 4096 1.00 6.27 0.02 11.28 1.80 2
189 DENSE 11008 4096 2.69 3.96 0.02 8.82 2.23 0
190 DENSE 11008 4096 2.69 8.11 0.02 12.15 1.50 0
191 DENSE 11008 4096 2.69 7.12 0.03 11.32 1.59 0
193 DENSE 4096 4096 1.00 3.06 0.03 7.19 2.35 3
194 DENSE 4096 4096 1.00 3.10 0.04 7.54 2.43 3
195 DENSE 4096 4096 1.00 5.33 0.06 6.28 1.18 3
196 DENSE 4096 4096 1.00 9.18 0.04 14.95 1.63 2
197 DENSE 11008 4096 2.69 4.11 0.02 9.02 2.19 0
198 DENSE 11008 4096 2.69 6.87 0.02 10.57 1.54 0
199 DENSE 11008 4096 2.69 7.69 0.04 12.12 1.58 0
201 DENSE 4096 4096 1.00 3.83 0.02 9.05 2.36 3
202 DENSE 4096 4096 1.00 3.33 0.03 8.09 2.43 4
203 DENSE 4096 4096 1.00 8.64 0.04 10.53 1.22 2
204 DENSE 4096 4096 1.00 8.50 0.03 13.69 1.61 2
205 DENSE 11008 4096 2.69 4.31 0.02 9.42 2.19 0
206 DENSE 11008 4096 2.69 5.78 0.02 8.81 1.53 0
207 DENSE 11008 4096 2.69 7.69 0.02 12.74 1.66 0
209 DENSE 4096 4096 1.00 3.80 0.02 8.81 2.32 2
210 DENSE 4096 4096 1.00 3.44 0.03 8.17 2.38 3
211 DENSE 4096 4096 1.00 10.47 0.03 12.18 1.16 2
212 DENSE 4096 4096 1.00 9.01 0.04 13.54 1.50 2
213 DENSE 11008 4096 2.69 4.55 0.02 9.83 2.16 0
214 DENSE 11008 4096 2.69 5.06 0.02 7.94 1.57 0
215 DENSE 11008 4096 2.69 7.79 0.03 13.48 1.73 0
217 DENSE 4096 4096 1.00 3.93 0.02 9.18 2.34 3
218 DENSE 4096 4096 1.00 4.13 0.03 9.86 2.38 2
219 DENSE 4096 4096 1.00 8.39 0.04 10.96 1.31 2
220 DENSE 4096 4096 1.00 7.11 0.04 12.81 1.80 2
221 DENSE 11008 4096 2.69 4.93 0.01 10.74 2.18 0
222 DENSE 11008 4096 2.69 4.68 0.02 7.21 1.54 0
223 DENSE 11008 4096 2.69 7.46 0.04 14.17 1.90 0
225 DENSE 4096 4096 1.00 3.10 0.03 7.21 2.33 3
226 DENSE 4096 4096 1.00 3.26 0.04 7.85 2.41 3
227 DENSE 4096 4096 1.00 7.14 0.04 9.09 1.27 2
228 DENSE 4096 4096 1.00 7.92 0.05 13.10 1.65 2
229 DENSE 11008 4096 2.69 4.99 0.02 10.86 2.18 0
230 DENSE 11008 4096 2.69 5.13 0.02 7.94 1.55 0
231 DENSE 11008 4096 2.69 6.69 0.04 13.83 2.07 0
233 DENSE 4096 4096 1.00 3.11 0.02 7.10 2.28 3
234 DENSE 4096 4096 1.00 3.11 0.02 7.32 2.35 3
235 DENSE 4096 4096 1.00 9.06 0.05 13.60 1.50 3
236 DENSE 4096 4096 1.00 7.79 0.07 13.73 1.76 2
237 DENSE 11008 4096 2.69 4.85 0.02 10.71 2.21 0
238 DENSE 11008 4096 2.69 5.75 0.02 9.46 1.64 0
239 DENSE 11008 4096 2.69 5.84 0.04 13.22 2.26 0
241 DENSE 4096 4096 1.00 3.22 0.02 7.45 2.32 3
242 DENSE 4096 4096 1.00 3.51 0.03 8.41 2.40 3
243 DENSE 4096 4096 1.00 8.30 0.05 11.85 1.43 2
244 DENSE 4096 4096 1.00 6.91 0.04 11.89 1.72 3
245 DENSE 11008 4096 2.69 3.43 0.03 7.72 2.25 0
246 DENSE 11008 4096 2.69 5.60 0.03 16.68 2.98 0
247 DENSE 11008 4096 2.69 4.83 0.04 11.74 2.43 0
249 DENSE 4096 4096 1.00 2.70 0.01 6.43 2.38 8
250 DENSE 4096 4096 1.00 2.91 0.01 7.44 2.55 8
251 DENSE 4096 4096 1.00 6.15 0.04 8.87 1.44 3
252 DENSE 4096 4096 1.00 4.10 0.05 10.59 2.58 2
253 DENSE 11008 4096 2.69 3.83 0.04 10.24 2.67 0
254 DENSE 11008 4096 2.69 4.80 0.03 9.61 2.00 0
255 DENSE 11008 4096 2.69 2.94 0.03 7.74 2.63 0
257 DENSE 32000 4096 7.81 2.88 0.02 8.48 2.94 0
259 DENSE 32000 4096 7.81 5.22 0.03 17.48 3.35 0