Lines Matching refs:reg
38 __m128i res_16 = _mm_packs_epi32(input.reg[0], input.reg[0]);
40 output.reg[0] = _mm_cvtsi128_si32(res_8);
57 __m128i res_16 = _mm_packs_epi32(input.reg[0], input.reg[1]);
59 output.reg[0] = _mm_extract_epi32(res_8, 0);
60 output.reg[1] = _mm_extract_epi32(res_8, 1);
77 __m128i res_16_0 = _mm_packs_epi32(input.reg[0], input.reg[1]);
78 __m128i res_16_1 = _mm_packs_epi32(input.reg[2], input.reg[3]);
79 output.reg[0] = _mm_packus_epi16(res_16_0, res_16_1);
96 __m128i res_16_0 = _mm_packs_epi32(input.reg[0], input.reg[1]);
97 __m128i res_16_1 = _mm_packs_epi32(input.reg[2], input.reg[3]);
98 output.reg[0] = _mm_packus_epi16(res_16_0, res_16_1);
99 __m128i res_16_2 = _mm_packs_epi32(input.reg[4], input.reg[5]);
100 __m128i res_16_3 = _mm_packs_epi32(input.reg[6], input.reg[7]);
101 output.reg[1] = _mm_packus_epi16(res_16_2, res_16_3);
111 StoreInt32x4(dst->data(row, col), src.buf.reg[0]);
113 *dst->data(row + 0, col) = GetLane<0>(src.buf.reg[0]);
114 *dst->data(row + 1, col) = GetLane<1>(src.buf.reg[0]);
115 *dst->data(row + 2, col) = GetLane<2>(src.buf.reg[0]);
116 *dst->data(row + 3, col) = GetLane<3>(src.buf.reg[0]);
126 StoreInt32x4(dst->data(row, col), src.buf.reg[0]);
127 StoreInt32x4(dst->data(row + 4, col), src.buf.reg[1]);
129 *dst->data(row + 0, col) = GetLane<0>(src.buf.reg[0]);
130 *dst->data(row + 1, col) = GetLane<1>(src.buf.reg[0]);
131 *dst->data(row + 2, col) = GetLane<2>(src.buf.reg[0]);
132 *dst->data(row + 3, col) = GetLane<3>(src.buf.reg[0]);
133 *dst->data(row + 4, col) = GetLane<0>(src.buf.reg[1]);
134 *dst->data(row + 5, col) = GetLane<1>(src.buf.reg[1]);
135 *dst->data(row + 6, col) = GetLane<2>(src.buf.reg[1]);
136 *dst->data(row + 7, col) = GetLane<3>(src.buf.reg[1]);
142 __m128i t0 = _mm_unpacklo_epi32(src.buf.reg[0], src.buf.reg[1]);
143 __m128i t1 = _mm_unpacklo_epi32(src.buf.reg[2], src.buf.reg[3]);
144 __m128i t2 = _mm_unpackhi_epi32(src.buf.reg[0], src.buf.reg[1]);
145 __m128i t3 = _mm_unpackhi_epi32(src.buf.reg[2], src.buf.reg[3]);
148 result.buf.reg[0] = _mm_unpacklo_epi64(t0, t1);
149 result.buf.reg[1] = _mm_unpackhi_epi64(t0, t1);
150 result.buf.reg[2] = _mm_unpacklo_epi64(t2, t3);
151 result.buf.reg[3] = _mm_unpackhi_epi64(t2, t3);
161 StoreInt32x4(dst->data(row, col + i), src.buf.reg[i]);
166 StoreInt32x4(dst->data(row + i, col), transpose.buf.reg[i]);
178 StoreInt32x4(dst->data(row, col + i), src.buf.reg[2 * i]);
179 StoreInt32x4(dst->data(row + 4, col + i), src.buf.reg[2 * i + 1]);
183 top.buf.reg[0] = src.buf.reg[0];
184 top.buf.reg[1] = src.buf.reg[2];
185 top.buf.reg[2] = src.buf.reg[4];
186 top.buf.reg[3] = src.buf.reg[6];
189 StoreInt32x4(dst->data(row + i, col), transpose_top.buf.reg[i]);
192 bottom.buf.reg[0] = src.buf.reg[1];
193 bottom.buf.reg[1] = src.buf.reg[3];
194 bottom.buf.reg[2] = src.buf.reg[5];
195 bottom.buf.reg[3] = src.buf.reg[7];
198 StoreInt32x4(dst->data(row + 4 + i, col), transpose_bottom.buf.reg[i]);
210 StoreInt32x4(dst->data(row, col + i), src.buf.reg[2 * i]);
211 StoreInt32x4(dst->data(row + 4, col + i), src.buf.reg[2 * i + 1]);
215 top_left.buf.reg[0] = src.buf.reg[0];
216 top_left.buf.reg[1] = src.buf.reg[2];
217 top_left.buf.reg[2] = src.buf.reg[4];
218 top_left.buf.reg[3] = src.buf.reg[6];
221 StoreInt32x4(dst->data(row + i, col), transpose_top_left.buf.reg[i]);
224 bottom_left.buf.reg[0] = src.buf.reg[1];
225 bottom_left.buf.reg[1] = src.buf.reg[3];
226 bottom_left.buf.reg[2] = src.buf.reg[5];
227 bottom_left.buf.reg[3] = src.buf.reg[7];
231 transpose_bottom_left.buf.reg[i]);
234 top_right.buf.reg[0] = src.buf.reg[8];
235 top_right.buf.reg[1] = src.buf.reg[10];
236 top_right.buf.reg[2] = src.buf.reg[12];
237 top_right.buf.reg[3] = src.buf.reg[14];
241 transpose_top_right.buf.reg[i]);
244 bottom_right.buf.reg[0] = src.buf.reg[9];
245 bottom_right.buf.reg[1] = src.buf.reg[11];
246 bottom_right.buf.reg[2] = src.buf.reg[13];
247 bottom_right.buf.reg[3] = src.buf.reg[15];
251 transpose_bottom_right.buf.reg[i]);
262 *dst->data(row, col + 0) = GetLane<0>(src.buf.reg[0]);
263 *dst->data(row, col + 1) = GetLane<1>(src.buf.reg[0]);
264 *dst->data(row, col + 2) = GetLane<2>(src.buf.reg[0]);
265 *dst->data(row, col + 3) = GetLane<3>(src.buf.reg[0]);
267 StoreInt32x4(dst->data(row, col), src.buf.reg[0]);
276 const std::uint32_t src_reg = src.buf.reg[0];
288 *dst->data(row + i, col) = (src.buf.reg[0] >> (8 * i));
291 *dst->data(row + 4 + i, col) = (src.buf.reg[1] >> (8 * i));
301 *dst->data(row, col + i) = (src.buf.reg[0] >> (8 * i));
311 StoreUint8x16(buf, src.buf.reg[0]);
325 StoreUint8x16(buf, src.buf.reg[0]);
326 StoreUint8x16(buf + 16, src.buf.reg[1]);
340 StoreUint8x16(buf, src.buf.reg[0]);
341 StoreUint8x16(buf + 16, src.buf.reg[1]);
342 StoreUint8x16(buf + 32, src.buf.reg[2]);
343 StoreUint8x16(buf + 48, src.buf.reg[3]);