Branch data Line data Source code
1 : : #ifndef _NET_FLOW_OFFLOAD_H
2 : : #define _NET_FLOW_OFFLOAD_H
3 : :
4 : : #include <linux/kernel.h>
5 : : #include <linux/list.h>
6 : : #include <net/flow_dissector.h>
7 : : #include <linux/rhashtable.h>
8 : :
9 : : struct flow_match {
10 : : struct flow_dissector *dissector;
11 : : void *mask;
12 : : void *key;
13 : : };
14 : :
15 : : struct flow_match_meta {
16 : : struct flow_dissector_key_meta *key, *mask;
17 : : };
18 : :
19 : : struct flow_match_basic {
20 : : struct flow_dissector_key_basic *key, *mask;
21 : : };
22 : :
23 : : struct flow_match_control {
24 : : struct flow_dissector_key_control *key, *mask;
25 : : };
26 : :
27 : : struct flow_match_eth_addrs {
28 : : struct flow_dissector_key_eth_addrs *key, *mask;
29 : : };
30 : :
31 : : struct flow_match_vlan {
32 : : struct flow_dissector_key_vlan *key, *mask;
33 : : };
34 : :
35 : : struct flow_match_ipv4_addrs {
36 : : struct flow_dissector_key_ipv4_addrs *key, *mask;
37 : : };
38 : :
39 : : struct flow_match_ipv6_addrs {
40 : : struct flow_dissector_key_ipv6_addrs *key, *mask;
41 : : };
42 : :
43 : : struct flow_match_ip {
44 : : struct flow_dissector_key_ip *key, *mask;
45 : : };
46 : :
47 : : struct flow_match_ports {
48 : : struct flow_dissector_key_ports *key, *mask;
49 : : };
50 : :
51 : : struct flow_match_icmp {
52 : : struct flow_dissector_key_icmp *key, *mask;
53 : : };
54 : :
55 : : struct flow_match_tcp {
56 : : struct flow_dissector_key_tcp *key, *mask;
57 : : };
58 : :
59 : : struct flow_match_mpls {
60 : : struct flow_dissector_key_mpls *key, *mask;
61 : : };
62 : :
63 : : struct flow_match_enc_keyid {
64 : : struct flow_dissector_key_keyid *key, *mask;
65 : : };
66 : :
67 : : struct flow_match_enc_opts {
68 : : struct flow_dissector_key_enc_opts *key, *mask;
69 : : };
70 : :
71 : : struct flow_rule;
72 : :
73 : : void flow_rule_match_meta(const struct flow_rule *rule,
74 : : struct flow_match_meta *out);
75 : : void flow_rule_match_basic(const struct flow_rule *rule,
76 : : struct flow_match_basic *out);
77 : : void flow_rule_match_control(const struct flow_rule *rule,
78 : : struct flow_match_control *out);
79 : : void flow_rule_match_eth_addrs(const struct flow_rule *rule,
80 : : struct flow_match_eth_addrs *out);
81 : : void flow_rule_match_vlan(const struct flow_rule *rule,
82 : : struct flow_match_vlan *out);
83 : : void flow_rule_match_cvlan(const struct flow_rule *rule,
84 : : struct flow_match_vlan *out);
85 : : void flow_rule_match_ipv4_addrs(const struct flow_rule *rule,
86 : : struct flow_match_ipv4_addrs *out);
87 : : void flow_rule_match_ipv6_addrs(const struct flow_rule *rule,
88 : : struct flow_match_ipv6_addrs *out);
89 : : void flow_rule_match_ip(const struct flow_rule *rule,
90 : : struct flow_match_ip *out);
91 : : void flow_rule_match_ports(const struct flow_rule *rule,
92 : : struct flow_match_ports *out);
93 : : void flow_rule_match_tcp(const struct flow_rule *rule,
94 : : struct flow_match_tcp *out);
95 : : void flow_rule_match_icmp(const struct flow_rule *rule,
96 : : struct flow_match_icmp *out);
97 : : void flow_rule_match_mpls(const struct flow_rule *rule,
98 : : struct flow_match_mpls *out);
99 : : void flow_rule_match_enc_control(const struct flow_rule *rule,
100 : : struct flow_match_control *out);
101 : : void flow_rule_match_enc_ipv4_addrs(const struct flow_rule *rule,
102 : : struct flow_match_ipv4_addrs *out);
103 : : void flow_rule_match_enc_ipv6_addrs(const struct flow_rule *rule,
104 : : struct flow_match_ipv6_addrs *out);
105 : : void flow_rule_match_enc_ip(const struct flow_rule *rule,
106 : : struct flow_match_ip *out);
107 : : void flow_rule_match_enc_ports(const struct flow_rule *rule,
108 : : struct flow_match_ports *out);
109 : : void flow_rule_match_enc_keyid(const struct flow_rule *rule,
110 : : struct flow_match_enc_keyid *out);
111 : : void flow_rule_match_enc_opts(const struct flow_rule *rule,
112 : : struct flow_match_enc_opts *out);
113 : :
114 : : enum flow_action_id {
115 : : FLOW_ACTION_ACCEPT = 0,
116 : : FLOW_ACTION_DROP,
117 : : FLOW_ACTION_TRAP,
118 : : FLOW_ACTION_GOTO,
119 : : FLOW_ACTION_REDIRECT,
120 : : FLOW_ACTION_MIRRED,
121 : : FLOW_ACTION_REDIRECT_INGRESS,
122 : : FLOW_ACTION_MIRRED_INGRESS,
123 : : FLOW_ACTION_VLAN_PUSH,
124 : : FLOW_ACTION_VLAN_POP,
125 : : FLOW_ACTION_VLAN_MANGLE,
126 : : FLOW_ACTION_TUNNEL_ENCAP,
127 : : FLOW_ACTION_TUNNEL_DECAP,
128 : : FLOW_ACTION_MANGLE,
129 : : FLOW_ACTION_ADD,
130 : : FLOW_ACTION_CSUM,
131 : : FLOW_ACTION_MARK,
132 : : FLOW_ACTION_PTYPE,
133 : : FLOW_ACTION_WAKE,
134 : : FLOW_ACTION_QUEUE,
135 : : FLOW_ACTION_SAMPLE,
136 : : FLOW_ACTION_POLICE,
137 : : FLOW_ACTION_CT,
138 : : FLOW_ACTION_MPLS_PUSH,
139 : : FLOW_ACTION_MPLS_POP,
140 : : FLOW_ACTION_MPLS_MANGLE,
141 : : NUM_FLOW_ACTIONS,
142 : : };
143 : :
144 : : /* This is mirroring enum pedit_header_type definition for easy mapping between
145 : : * tc pedit action. Legacy TCA_PEDIT_KEY_EX_HDR_TYPE_NETWORK is mapped to
146 : : * FLOW_ACT_MANGLE_UNSPEC, which is supported by no driver.
147 : : */
148 : : enum flow_action_mangle_base {
149 : : FLOW_ACT_MANGLE_UNSPEC = 0,
150 : : FLOW_ACT_MANGLE_HDR_TYPE_ETH,
151 : : FLOW_ACT_MANGLE_HDR_TYPE_IP4,
152 : : FLOW_ACT_MANGLE_HDR_TYPE_IP6,
153 : : FLOW_ACT_MANGLE_HDR_TYPE_TCP,
154 : : FLOW_ACT_MANGLE_HDR_TYPE_UDP,
155 : : };
156 : :
157 : : typedef void (*action_destr)(void *priv);
158 : :
159 : : struct flow_action_entry {
160 : : enum flow_action_id id;
161 : : action_destr destructor;
162 : : void *destructor_priv;
163 : : union {
164 : : u32 chain_index; /* FLOW_ACTION_GOTO */
165 : : struct net_device *dev; /* FLOW_ACTION_REDIRECT */
166 : : struct { /* FLOW_ACTION_VLAN */
167 : : u16 vid;
168 : : __be16 proto;
169 : : u8 prio;
170 : : } vlan;
171 : : struct { /* FLOW_ACTION_PACKET_EDIT */
172 : : enum flow_action_mangle_base htype;
173 : : u32 offset;
174 : : u32 mask;
175 : : u32 val;
176 : : } mangle;
177 : : struct ip_tunnel_info *tunnel; /* FLOW_ACTION_TUNNEL_ENCAP */
178 : : u32 csum_flags; /* FLOW_ACTION_CSUM */
179 : : u32 mark; /* FLOW_ACTION_MARK */
180 : : u16 ptype; /* FLOW_ACTION_PTYPE */
181 : : struct { /* FLOW_ACTION_QUEUE */
182 : : u32 ctx;
183 : : u32 index;
184 : : u8 vf;
185 : : } queue;
186 : : struct { /* FLOW_ACTION_SAMPLE */
187 : : struct psample_group *psample_group;
188 : : u32 rate;
189 : : u32 trunc_size;
190 : : bool truncate;
191 : : } sample;
192 : : struct { /* FLOW_ACTION_POLICE */
193 : : s64 burst;
194 : : u64 rate_bytes_ps;
195 : : } police;
196 : : struct { /* FLOW_ACTION_CT */
197 : : int action;
198 : : u16 zone;
199 : : } ct;
200 : : struct { /* FLOW_ACTION_MPLS_PUSH */
201 : : u32 label;
202 : : __be16 proto;
203 : : u8 tc;
204 : : u8 bos;
205 : : u8 ttl;
206 : : } mpls_push;
207 : : struct { /* FLOW_ACTION_MPLS_POP */
208 : : __be16 proto;
209 : : } mpls_pop;
210 : : struct { /* FLOW_ACTION_MPLS_MANGLE */
211 : : u32 label;
212 : : u8 tc;
213 : : u8 bos;
214 : : u8 ttl;
215 : : } mpls_mangle;
216 : : };
217 : : };
218 : :
219 : : struct flow_action {
220 : : unsigned int num_entries;
221 : : struct flow_action_entry entries[0];
222 : : };
223 : :
224 : : static inline bool flow_action_has_entries(const struct flow_action *action)
225 : : {
226 : : return action->num_entries;
227 : : }
228 : :
229 : : /**
230 : : * flow_action_has_one_action() - check if exactly one action is present
231 : : * @action: tc filter flow offload action
232 : : *
233 : : * Returns true if exactly one action is present.
234 : : */
235 : : static inline bool flow_offload_has_one_action(const struct flow_action *action)
236 : : {
237 : : return action->num_entries == 1;
238 : : }
239 : :
240 : : #define flow_action_for_each(__i, __act, __actions) \
241 : : for (__i = 0, __act = &(__actions)->entries[0]; __i < (__actions)->num_entries; __act = &(__actions)->entries[++__i])
242 : :
243 : : struct flow_rule {
244 : : struct flow_match match;
245 : : struct flow_action action;
246 : : };
247 : :
248 : : struct flow_rule *flow_rule_alloc(unsigned int num_actions);
249 : :
250 : : static inline bool flow_rule_match_key(const struct flow_rule *rule,
251 : : enum flow_dissector_key_id key)
252 : : {
253 : : return dissector_uses_key(rule->match.dissector, key);
254 : : }
255 : :
256 : : struct flow_stats {
257 : : u64 pkts;
258 : : u64 bytes;
259 : : u64 lastused;
260 : : };
261 : :
262 : : static inline void flow_stats_update(struct flow_stats *flow_stats,
263 : : u64 bytes, u64 pkts, u64 lastused)
264 : : {
265 : : flow_stats->pkts += pkts;
266 : : flow_stats->bytes += bytes;
267 : : flow_stats->lastused = max_t(u64, flow_stats->lastused, lastused);
268 : : }
269 : :
270 : : enum flow_block_command {
271 : : FLOW_BLOCK_BIND,
272 : : FLOW_BLOCK_UNBIND,
273 : : };
274 : :
275 : : enum flow_block_binder_type {
276 : : FLOW_BLOCK_BINDER_TYPE_UNSPEC,
277 : : FLOW_BLOCK_BINDER_TYPE_CLSACT_INGRESS,
278 : : FLOW_BLOCK_BINDER_TYPE_CLSACT_EGRESS,
279 : : };
280 : :
281 : : struct flow_block {
282 : : struct list_head cb_list;
283 : : };
284 : :
285 : : struct netlink_ext_ack;
286 : :
287 : : struct flow_block_offload {
288 : : enum flow_block_command command;
289 : : enum flow_block_binder_type binder_type;
290 : : bool block_shared;
291 : : bool unlocked_driver_cb;
292 : : struct net *net;
293 : : struct flow_block *block;
294 : : struct list_head cb_list;
295 : : struct list_head *driver_block_list;
296 : : struct netlink_ext_ack *extack;
297 : : };
298 : :
299 : : enum tc_setup_type;
300 : : typedef int flow_setup_cb_t(enum tc_setup_type type, void *type_data,
301 : : void *cb_priv);
302 : :
303 : : struct flow_block_cb {
304 : : struct list_head driver_list;
305 : : struct list_head list;
306 : : flow_setup_cb_t *cb;
307 : : void *cb_ident;
308 : : void *cb_priv;
309 : : void (*release)(void *cb_priv);
310 : : unsigned int refcnt;
311 : : };
312 : :
313 : : struct flow_block_cb *flow_block_cb_alloc(flow_setup_cb_t *cb,
314 : : void *cb_ident, void *cb_priv,
315 : : void (*release)(void *cb_priv));
316 : : void flow_block_cb_free(struct flow_block_cb *block_cb);
317 : :
318 : : struct flow_block_cb *flow_block_cb_lookup(struct flow_block *block,
319 : : flow_setup_cb_t *cb, void *cb_ident);
320 : :
321 : : void *flow_block_cb_priv(struct flow_block_cb *block_cb);
322 : : void flow_block_cb_incref(struct flow_block_cb *block_cb);
323 : : unsigned int flow_block_cb_decref(struct flow_block_cb *block_cb);
324 : :
325 : : static inline void flow_block_cb_add(struct flow_block_cb *block_cb,
326 : : struct flow_block_offload *offload)
327 : : {
328 : 0 : list_add_tail(&block_cb->list, &offload->cb_list);
329 : : }
330 : :
331 : : static inline void flow_block_cb_remove(struct flow_block_cb *block_cb,
332 : : struct flow_block_offload *offload)
333 : : {
334 : 0 : list_move(&block_cb->list, &offload->cb_list);
335 : : }
336 : :
337 : : bool flow_block_cb_is_busy(flow_setup_cb_t *cb, void *cb_ident,
338 : : struct list_head *driver_block_list);
339 : :
340 : : int flow_block_cb_setup_simple(struct flow_block_offload *f,
341 : : struct list_head *driver_list,
342 : : flow_setup_cb_t *cb,
343 : : void *cb_ident, void *cb_priv, bool ingress_only);
344 : :
345 : : enum flow_cls_command {
346 : : FLOW_CLS_REPLACE,
347 : : FLOW_CLS_DESTROY,
348 : : FLOW_CLS_STATS,
349 : : FLOW_CLS_TMPLT_CREATE,
350 : : FLOW_CLS_TMPLT_DESTROY,
351 : : };
352 : :
353 : : struct flow_cls_common_offload {
354 : : u32 chain_index;
355 : : __be16 protocol;
356 : : u32 prio;
357 : : struct netlink_ext_ack *extack;
358 : : };
359 : :
360 : : struct flow_cls_offload {
361 : : struct flow_cls_common_offload common;
362 : : enum flow_cls_command command;
363 : : unsigned long cookie;
364 : : struct flow_rule *rule;
365 : : struct flow_stats stats;
366 : : u32 classid;
367 : : };
368 : :
369 : : static inline struct flow_rule *
370 : : flow_cls_offload_flow_rule(struct flow_cls_offload *flow_cmd)
371 : : {
372 : : return flow_cmd->rule;
373 : : }
374 : :
375 : : static inline void flow_block_init(struct flow_block *flow_block)
376 : : {
377 : 0 : INIT_LIST_HEAD(&flow_block->cb_list);
378 : : }
379 : :
380 : : typedef int flow_indr_block_bind_cb_t(struct net_device *dev, void *cb_priv,
381 : : enum tc_setup_type type, void *type_data);
382 : :
383 : : typedef void flow_indr_block_cmd_t(struct net_device *dev,
384 : : flow_indr_block_bind_cb_t *cb, void *cb_priv,
385 : : enum flow_block_command command);
386 : :
387 : : struct flow_indr_block_entry {
388 : : flow_indr_block_cmd_t *cb;
389 : : struct list_head list;
390 : : };
391 : :
392 : : void flow_indr_add_block_cb(struct flow_indr_block_entry *entry);
393 : :
394 : : void flow_indr_del_block_cb(struct flow_indr_block_entry *entry);
395 : :
396 : : int __flow_indr_block_cb_register(struct net_device *dev, void *cb_priv,
397 : : flow_indr_block_bind_cb_t *cb,
398 : : void *cb_ident);
399 : :
400 : : void __flow_indr_block_cb_unregister(struct net_device *dev,
401 : : flow_indr_block_bind_cb_t *cb,
402 : : void *cb_ident);
403 : :
404 : : int flow_indr_block_cb_register(struct net_device *dev, void *cb_priv,
405 : : flow_indr_block_bind_cb_t *cb, void *cb_ident);
406 : :
407 : : void flow_indr_block_cb_unregister(struct net_device *dev,
408 : : flow_indr_block_bind_cb_t *cb,
409 : : void *cb_ident);
410 : :
411 : : void flow_indr_block_call(struct net_device *dev,
412 : : struct flow_block_offload *bo,
413 : : enum flow_block_command command);
414 : :
415 : : #endif /* _NET_FLOW_OFFLOAD_H */
|
