1 /*===--------- avx10_2_512convertintrin.h - AVX10_2_512CONVERT -------------===
2 *
3 * Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
4 * See https://llvm.org/LICENSE.txt for license information.
5 * SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
6 *
7 *===-----------------------------------------------------------------------===
8 */
9 #ifndef __IMMINTRIN_H
10 #error \
11 "Never use <avx10_2_512convertintrin.h> directly; include <immintrin.h> instead."
12 #endif // __IMMINTRIN_H
13
14 #ifdef __SSE2__
15
16 #ifndef __AVX10_2_512CONVERTINTRIN_H
17 #define __AVX10_2_512CONVERTINTRIN_H
18
19 /* Define the default attributes for the functions in this file. */
20 #define __DEFAULT_FN_ATTRS512 \
21 __attribute__((__always_inline__, __nodebug__, __target__("avx10.2-512"), \
22 __min_vector_width__(512)))
23
_mm512_cvtx2ps_ph(__m512 __A,__m512 __B)24 static __inline__ __m512h __DEFAULT_FN_ATTRS512 _mm512_cvtx2ps_ph(__m512 __A,
25 __m512 __B) {
26 return (__m512h)__builtin_ia32_vcvt2ps2phx512_mask(
27 (__v16sf)__A, (__v16sf)__B, (__v32hf)_mm512_setzero_ph(), (__mmask32)(-1),
28 _MM_FROUND_CUR_DIRECTION);
29 }
30
31 static __inline__ __m512h __DEFAULT_FN_ATTRS512
_mm512_mask_cvtx2ps_ph(__m512h __W,__mmask32 __U,__m512 __A,__m512 __B)32 _mm512_mask_cvtx2ps_ph(__m512h __W, __mmask32 __U, __m512 __A, __m512 __B) {
33 return (__m512h)__builtin_ia32_vcvt2ps2phx512_mask(
34 (__v16sf)__A, (__v16sf)__B, (__v32hf)__W, (__mmask32)__U,
35 _MM_FROUND_CUR_DIRECTION);
36 }
37
38 static __inline__ __m512h __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtx2ps_ph(__mmask32 __U,__m512 __A,__m512 __B)39 _mm512_maskz_cvtx2ps_ph(__mmask32 __U, __m512 __A, __m512 __B) {
40 return (__m512h)__builtin_ia32_vcvt2ps2phx512_mask(
41 (__v16sf)__A, (__v16sf)__B, (__v32hf)_mm512_setzero_ph(), (__mmask32)__U,
42 _MM_FROUND_CUR_DIRECTION);
43 }
44
45 #define _mm512_cvtx_round2ps_ph(A, B, R) \
46 ((__m512h)__builtin_ia32_vcvt2ps2phx512_mask( \
47 (__v16sf)(A), (__v16sf)(B), (__v32hf)_mm512_undefined_ph(), \
48 (__mmask32)(-1), (const int)(R)))
49
50 #define _mm512_mask_cvtx_round2ps_ph(W, U, A, B, R) \
51 ((__m512h)__builtin_ia32_vcvt2ps2phx512_mask((__v16sf)(A), (__v16sf)(B), \
52 (__v32hf)(W), (__mmask32)(U), \
53 (const int)(R)))
54
55 #define _mm512_maskz_cvtx_round2ps_ph(U, A, B, R) \
56 ((__m512h)__builtin_ia32_vcvt2ps2phx512_mask( \
57 (__v16sf)(A), (__v16sf)(B), (__v32hf)_mm512_setzero_ph(), \
58 (__mmask32)(U), (const int)(R)))
59
60 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtbiasph_pbf8(__m512i __A,__m512h __B)61 _mm512_cvtbiasph_pbf8(__m512i __A, __m512h __B) {
62 return (__m256i)__builtin_ia32_vcvtbiasph2bf8_512_mask(
63 (__v64qi)__A, (__v32hf)__B, (__v32qi)_mm256_undefined_si256(),
64 (__mmask32)-1);
65 }
66
_mm512_mask_cvtbiasph_pbf8(__m256i __W,__mmask32 __U,__m512i __A,__m512h __B)67 static __inline__ __m256i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtbiasph_pbf8(
68 __m256i __W, __mmask32 __U, __m512i __A, __m512h __B) {
69 return (__m256i)__builtin_ia32_vcvtbiasph2bf8_512_mask(
70 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)__W, (__mmask32)__U);
71 }
72
73 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtbiasph_pbf8(__mmask32 __U,__m512i __A,__m512h __B)74 _mm512_maskz_cvtbiasph_pbf8(__mmask32 __U, __m512i __A, __m512h __B) {
75 return (__m256i)__builtin_ia32_vcvtbiasph2bf8_512_mask(
76 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)_mm256_setzero_si256(),
77 (__mmask32)__U);
78 }
79
80 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtbiassph_pbf8(__m512i __A,__m512h __B)81 _mm512_cvtbiassph_pbf8(__m512i __A, __m512h __B) {
82 return (__m256i)__builtin_ia32_vcvtbiasph2bf8s_512_mask(
83 (__v64qi)__A, (__v32hf)__B, (__v32qi)_mm256_undefined_si256(),
84 (__mmask32)-1);
85 }
86
_mm512_mask_cvtbiassph_pbf8(__m256i __W,__mmask32 __U,__m512i __A,__m512h __B)87 static __inline__ __m256i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtbiassph_pbf8(
88 __m256i __W, __mmask32 __U, __m512i __A, __m512h __B) {
89 return (__m256i)__builtin_ia32_vcvtbiasph2bf8s_512_mask(
90 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)__W, (__mmask32)__U);
91 }
92
93 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtbiassph_pbf8(__mmask32 __U,__m512i __A,__m512h __B)94 _mm512_maskz_cvtbiassph_pbf8(__mmask32 __U, __m512i __A, __m512h __B) {
95 return (__m256i)__builtin_ia32_vcvtbiasph2bf8s_512_mask(
96 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)_mm256_setzero_si256(),
97 (__mmask32)__U);
98 }
99
100 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtbiasph_phf8(__m512i __A,__m512h __B)101 _mm512_cvtbiasph_phf8(__m512i __A, __m512h __B) {
102 return (__m256i)__builtin_ia32_vcvtbiasph2hf8_512_mask(
103 (__v64qi)__A, (__v32hf)__B, (__v32qi)_mm256_undefined_si256(),
104 (__mmask32)-1);
105 }
106
_mm512_mask_cvtbiasph_phf8(__m256i __W,__mmask32 __U,__m512i __A,__m512h __B)107 static __inline__ __m256i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtbiasph_phf8(
108 __m256i __W, __mmask32 __U, __m512i __A, __m512h __B) {
109 return (__m256i)__builtin_ia32_vcvtbiasph2hf8_512_mask(
110 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)__W, (__mmask32)__U);
111 }
112
113 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtbiasph_phf8(__mmask32 __U,__m512i __A,__m512h __B)114 _mm512_maskz_cvtbiasph_phf8(__mmask32 __U, __m512i __A, __m512h __B) {
115 return (__m256i)__builtin_ia32_vcvtbiasph2hf8_512_mask(
116 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)_mm256_setzero_si256(),
117 (__mmask32)__U);
118 }
119
120 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtbiassph_phf8(__m512i __A,__m512h __B)121 _mm512_cvtbiassph_phf8(__m512i __A, __m512h __B) {
122 return (__m256i)__builtin_ia32_vcvtbiasph2hf8s_512_mask(
123 (__v64qi)__A, (__v32hf)__B, (__v32qi)_mm256_undefined_si256(),
124 (__mmask32)-1);
125 }
126
_mm512_mask_cvtbiassph_phf8(__m256i __W,__mmask32 __U,__m512i __A,__m512h __B)127 static __inline__ __m256i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtbiassph_phf8(
128 __m256i __W, __mmask32 __U, __m512i __A, __m512h __B) {
129 return (__m256i)__builtin_ia32_vcvtbiasph2hf8s_512_mask(
130 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)__W, (__mmask32)__U);
131 }
132
133 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtbiassph_phf8(__mmask32 __U,__m512i __A,__m512h __B)134 _mm512_maskz_cvtbiassph_phf8(__mmask32 __U, __m512i __A, __m512h __B) {
135 return (__m256i)__builtin_ia32_vcvtbiasph2hf8s_512_mask(
136 (__v64qi)__A, (__v32hf)__B, (__v32qi)(__m256i)_mm256_setzero_si256(),
137 (__mmask32)__U);
138 }
139
140 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_cvtne2ph_pbf8(__m512h __A,__m512h __B)141 _mm512_cvtne2ph_pbf8(__m512h __A, __m512h __B) {
142 return (__m512i)__builtin_ia32_vcvtne2ph2bf8_512((__v32hf)(__A),
143 (__v32hf)(__B));
144 }
145
_mm512_mask_cvtne2ph_pbf8(__m512i __W,__mmask64 __U,__m512h __A,__m512h __B)146 static __inline__ __m512i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtne2ph_pbf8(
147 __m512i __W, __mmask64 __U, __m512h __A, __m512h __B) {
148 return (__m512i)__builtin_ia32_selectb_512(
149 (__mmask64)__U, (__v64qi)_mm512_cvtne2ph_pbf8(__A, __B), (__v64qi)__W);
150 }
151
152 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtne2ph_pbf8(__mmask64 __U,__m512h __A,__m512h __B)153 _mm512_maskz_cvtne2ph_pbf8(__mmask64 __U, __m512h __A, __m512h __B) {
154 return (__m512i)__builtin_ia32_selectb_512(
155 (__mmask64)__U, (__v64qi)_mm512_cvtne2ph_pbf8(__A, __B),
156 (__v64qi)(__m512i)_mm512_setzero_si512());
157 }
158
159 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_cvtnes2ph_pbf8(__m512h __A,__m512h __B)160 _mm512_cvtnes2ph_pbf8(__m512h __A, __m512h __B) {
161 return (__m512i)__builtin_ia32_vcvtne2ph2bf8s_512((__v32hf)(__A),
162 (__v32hf)(__B));
163 }
164
_mm512_mask_cvtnes2ph_pbf8(__m512i __W,__mmask64 __U,__m512h __A,__m512h __B)165 static __inline__ __m512i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtnes2ph_pbf8(
166 __m512i __W, __mmask64 __U, __m512h __A, __m512h __B) {
167 return (__m512i)__builtin_ia32_selectb_512(
168 (__mmask64)__U, (__v64qi)_mm512_cvtnes2ph_pbf8(__A, __B), (__v64qi)__W);
169 }
170
171 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtnes2ph_pbf8(__mmask64 __U,__m512h __A,__m512h __B)172 _mm512_maskz_cvtnes2ph_pbf8(__mmask64 __U, __m512h __A, __m512h __B) {
173 return (__m512i)__builtin_ia32_selectb_512(
174 (__mmask64)__U, (__v64qi)_mm512_cvtnes2ph_pbf8(__A, __B),
175 (__v64qi)(__m512i)_mm512_setzero_si512());
176 }
177
178 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_cvtne2ph_phf8(__m512h __A,__m512h __B)179 _mm512_cvtne2ph_phf8(__m512h __A, __m512h __B) {
180 return (__m512i)__builtin_ia32_vcvtne2ph2hf8_512((__v32hf)(__A),
181 (__v32hf)(__B));
182 }
183
_mm512_mask_cvtne2ph_phf8(__m512i __W,__mmask64 __U,__m512h __A,__m512h __B)184 static __inline__ __m512i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtne2ph_phf8(
185 __m512i __W, __mmask64 __U, __m512h __A, __m512h __B) {
186 return (__m512i)__builtin_ia32_selectb_512(
187 (__mmask64)__U, (__v64qi)_mm512_cvtne2ph_phf8(__A, __B), (__v64qi)__W);
188 }
189
190 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtne2ph_phf8(__mmask64 __U,__m512h __A,__m512h __B)191 _mm512_maskz_cvtne2ph_phf8(__mmask64 __U, __m512h __A, __m512h __B) {
192 return (__m512i)__builtin_ia32_selectb_512(
193 (__mmask64)__U, (__v64qi)_mm512_cvtne2ph_phf8(__A, __B),
194 (__v64qi)(__m512i)_mm512_setzero_si512());
195 }
196
197 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_cvtnes2ph_phf8(__m512h __A,__m512h __B)198 _mm512_cvtnes2ph_phf8(__m512h __A, __m512h __B) {
199 return (__m512i)__builtin_ia32_vcvtne2ph2hf8s_512((__v32hf)(__A),
200 (__v32hf)(__B));
201 }
202
_mm512_mask_cvtnes2ph_phf8(__m512i __W,__mmask64 __U,__m512h __A,__m512h __B)203 static __inline__ __m512i __DEFAULT_FN_ATTRS512 _mm512_mask_cvtnes2ph_phf8(
204 __m512i __W, __mmask64 __U, __m512h __A, __m512h __B) {
205 return (__m512i)__builtin_ia32_selectb_512(
206 (__mmask64)__U, (__v64qi)_mm512_cvtnes2ph_phf8(__A, __B), (__v64qi)__W);
207 }
208
209 static __inline__ __m512i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtnes2ph_phf8(__mmask64 __U,__m512h __A,__m512h __B)210 _mm512_maskz_cvtnes2ph_phf8(__mmask64 __U, __m512h __A, __m512h __B) {
211 return (__m512i)__builtin_ia32_selectb_512(
212 (__mmask64)__U, (__v64qi)_mm512_cvtnes2ph_phf8(__A, __B),
213 (__v64qi)(__m512i)_mm512_setzero_si512());
214 }
215
216 static __inline__ __m512h __DEFAULT_FN_ATTRS512
_mm512_cvtnehf8_ph(__m256i __A)217 _mm512_cvtnehf8_ph(__m256i __A) {
218 return (__m512h)__builtin_ia32_vcvthf8_2ph512_mask(
219 (__v32qi)__A, (__v32hf)(__m512h)_mm512_undefined_ph(), (__mmask32)-1);
220 }
221
222 static __inline__ __m512h __DEFAULT_FN_ATTRS512
_mm512_mask_cvtnehf8_ph(__m512h __W,__mmask32 __U,__m256i __A)223 _mm512_mask_cvtnehf8_ph(__m512h __W, __mmask32 __U, __m256i __A) {
224 return (__m512h)__builtin_ia32_vcvthf8_2ph512_mask(
225 (__v32qi)__A, (__v32hf)(__m512h)__W, (__mmask32)__U);
226 }
227
228 static __inline__ __m512h __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtnehf8_ph(__mmask32 __U,__m256i __A)229 _mm512_maskz_cvtnehf8_ph(__mmask32 __U, __m256i __A) {
230 return (__m512h)__builtin_ia32_vcvthf8_2ph512_mask(
231 (__v32qi)__A, (__v32hf)(__m512h)_mm512_setzero_ph(), (__mmask32)__U);
232 }
233
234 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtneph_pbf8(__m512h __A)235 _mm512_cvtneph_pbf8(__m512h __A) {
236 return (__m256i)__builtin_ia32_vcvtneph2bf8_512_mask(
237 (__v32hf)__A, (__v32qi)(__m256i)_mm256_undefined_si256(), (__mmask32)-1);
238 }
239
240 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_mask_cvtneph_pbf8(__m256i __W,__mmask32 __U,__m512h __A)241 _mm512_mask_cvtneph_pbf8(__m256i __W, __mmask32 __U, __m512h __A) {
242 return (__m256i)__builtin_ia32_vcvtneph2bf8_512_mask(
243 (__v32hf)__A, (__v32qi)(__m256i)__W, (__mmask32)__U);
244 }
245
246 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtneph_pbf8(__mmask32 __U,__m512h __A)247 _mm512_maskz_cvtneph_pbf8(__mmask32 __U, __m512h __A) {
248 return (__m256i)__builtin_ia32_vcvtneph2bf8_512_mask(
249 (__v32hf)__A, (__v32qi)(__m256i)_mm256_setzero_si256(), (__mmask32)__U);
250 }
251
252 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtnesph_pbf8(__m512h __A)253 _mm512_cvtnesph_pbf8(__m512h __A) {
254 return (__m256i)__builtin_ia32_vcvtneph2bf8s_512_mask(
255 (__v32hf)__A, (__v32qi)(__m256i)_mm256_undefined_si256(), (__mmask32)-1);
256 }
257
258 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_mask_cvtnesph_pbf8(__m256i __W,__mmask32 __U,__m512h __A)259 _mm512_mask_cvtnesph_pbf8(__m256i __W, __mmask32 __U, __m512h __A) {
260 return (__m256i)__builtin_ia32_vcvtneph2bf8s_512_mask(
261 (__v32hf)__A, (__v32qi)(__m256i)__W, (__mmask32)__U);
262 }
263
264 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtnesph_pbf8(__mmask32 __U,__m512h __A)265 _mm512_maskz_cvtnesph_pbf8(__mmask32 __U, __m512h __A) {
266 return (__m256i)__builtin_ia32_vcvtneph2bf8s_512_mask(
267 (__v32hf)__A, (__v32qi)(__m256i)_mm256_setzero_si256(), (__mmask32)__U);
268 }
269
270 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtneph_phf8(__m512h __A)271 _mm512_cvtneph_phf8(__m512h __A) {
272 return (__m256i)__builtin_ia32_vcvtneph2hf8_512_mask(
273 (__v32hf)__A, (__v32qi)(__m256i)_mm256_undefined_si256(), (__mmask32)-1);
274 }
275
276 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_mask_cvtneph_phf8(__m256i __W,__mmask32 __U,__m512h __A)277 _mm512_mask_cvtneph_phf8(__m256i __W, __mmask32 __U, __m512h __A) {
278 return (__m256i)__builtin_ia32_vcvtneph2hf8_512_mask(
279 (__v32hf)__A, (__v32qi)(__m256i)__W, (__mmask32)__U);
280 }
281
282 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtneph_phf8(__mmask32 __U,__m512h __A)283 _mm512_maskz_cvtneph_phf8(__mmask32 __U, __m512h __A) {
284 return (__m256i)__builtin_ia32_vcvtneph2hf8_512_mask(
285 (__v32hf)__A, (__v32qi)(__m256i)_mm256_setzero_si256(), (__mmask32)__U);
286 }
287
288 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_cvtnesph_phf8(__m512h __A)289 _mm512_cvtnesph_phf8(__m512h __A) {
290 return (__m256i)__builtin_ia32_vcvtneph2hf8s_512_mask(
291 (__v32hf)__A, (__v32qi)(__m256i)_mm256_undefined_si256(), (__mmask32)-1);
292 }
293
294 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_mask_cvtnesph_phf8(__m256i __W,__mmask32 __U,__m512h __A)295 _mm512_mask_cvtnesph_phf8(__m256i __W, __mmask32 __U, __m512h __A) {
296 return (__m256i)__builtin_ia32_vcvtneph2hf8s_512_mask(
297 (__v32hf)__A, (__v32qi)(__m256i)__W, (__mmask32)__U);
298 }
299
300 static __inline__ __m256i __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtnesph_phf8(__mmask32 __U,__m512h __A)301 _mm512_maskz_cvtnesph_phf8(__mmask32 __U, __m512h __A) {
302 return (__m256i)__builtin_ia32_vcvtneph2hf8s_512_mask(
303 (__v32hf)__A, (__v32qi)(__m256i)_mm256_setzero_si256(), (__mmask32)__U);
304 }
305
_mm512_cvtpbf8_ph(__m256i __A)306 static __inline __m512h __DEFAULT_FN_ATTRS512 _mm512_cvtpbf8_ph(__m256i __A) {
307 return _mm512_castsi512_ph(_mm512_slli_epi16(_mm512_cvtepi8_epi16(__A), 8));
308 }
309
310 static __inline __m512h __DEFAULT_FN_ATTRS512
_mm512_mask_cvtpbf8_ph(__m512h __S,__mmask16 __U,__m256i __A)311 _mm512_mask_cvtpbf8_ph(__m512h __S, __mmask16 __U, __m256i __A) {
312 return _mm512_castsi512_ph(
313 _mm512_mask_slli_epi16((__m512i)__S, __U, _mm512_cvtepi8_epi16(__A), 8));
314 }
315
316 static __inline __m512h __DEFAULT_FN_ATTRS512
_mm512_maskz_cvtpbf8_ph(__mmask16 __U,__m256i __A)317 _mm512_maskz_cvtpbf8_ph(__mmask16 __U, __m256i __A) {
318 return _mm512_castsi512_ph(
319 _mm512_slli_epi16(_mm512_maskz_cvtepi8_epi16(__U, __A), 8));
320 }
321
322 #undef __DEFAULT_FN_ATTRS512
323
324 #endif // __AVX10_2_512CONVERTINTRIN_H
325 #endif // __SSE2__
326