63 static int iscsi_tcp_hdr_recv_done(struct iscsi_tcp_conn *tcp_conn,
190 int iscsi_tcp_segment_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_segment_done()  argument
197 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "copied %u %u size %u %s\n",  in iscsi_tcp_segment_done()
233 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "total copied %u total size %u\n",  in iscsi_tcp_segment_done()
245 	if (!(tcp_conn->iscsi_conn->session->tt->caps & CAP_PADDING_OFFLOAD)) {  in iscsi_tcp_segment_done()
248 			ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_segment_done()
292 iscsi_tcp_segment_recv(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_segment_recv()  argument
298 	while (!iscsi_tcp_segment_done(tcp_conn, segment, 1, copy)) {  in iscsi_tcp_segment_recv()
300 			ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_segment_recv()
306 		ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "copying %d\n", copy);  in iscsi_tcp_segment_recv()
326 iscsi_tcp_dgst_verify(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_dgst_verify()  argument
334 		ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "digest mismatch\n");  in iscsi_tcp_dgst_verify()
400 void iscsi_tcp_hdr_recv_prep(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_hdr_recv_prep()  argument
402 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_hdr_recv_prep()
403 		      "(%s)\n", tcp_conn->iscsi_conn->hdrdgst_en ?  in iscsi_tcp_hdr_recv_prep()
405 	iscsi_segment_init_linear(&tcp_conn->in.segment,  in iscsi_tcp_hdr_recv_prep()
406 				tcp_conn->in.hdr_buf, sizeof(struct iscsi_hdr),  in iscsi_tcp_hdr_recv_prep()
415 iscsi_tcp_data_recv_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_data_recv_done()  argument
418 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_data_recv_done()
421 	if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_data_recv_done()
424 	rc = iscsi_complete_pdu(conn, tcp_conn->in.hdr,  in iscsi_tcp_data_recv_done()
425 			conn->data, tcp_conn->in.datalen);  in iscsi_tcp_data_recv_done()
429 	iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_data_recv_done()
434 iscsi_tcp_data_recv_prep(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_data_recv_prep()  argument
436 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_data_recv_prep()
441 		rx_hash = tcp_conn->rx_hash;  in iscsi_tcp_data_recv_prep()
443 	iscsi_segment_init_linear(&tcp_conn->in.segment,  in iscsi_tcp_data_recv_prep()
444 				conn->data, tcp_conn->in.datalen,  in iscsi_tcp_data_recv_prep()
488 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_data_in()  local
490 	struct iscsi_data_rsp *rhdr = (struct iscsi_data_rsp *)tcp_conn->in.hdr;  in iscsi_tcp_data_in()
501 	if (tcp_conn->in.datalen == 0)  in iscsi_tcp_data_in()
513 	if (tcp_task->data_offset + tcp_conn->in.datalen > total_in_length) {  in iscsi_tcp_data_in()
516 			      tcp_conn->in.datalen, total_in_length);  in iscsi_tcp_data_in()
533 	struct iscsi_tcp_conn *tcp_conn;  in iscsi_tcp_r2t_rsp()  local
563 	tcp_conn = conn->dd_data;  in iscsi_tcp_r2t_rsp()
564 	rhdr = (struct iscsi_r2t_rsp *)tcp_conn->in.hdr;  in iscsi_tcp_r2t_rsp()
569 	if (tcp_conn->in.datalen) {  in iscsi_tcp_r2t_rsp()
572 				  tcp_conn->in.datalen);  in iscsi_tcp_r2t_rsp()
653 iscsi_tcp_process_data_in(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_process_data_in()  argument
656 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_process_data_in()
657 	struct iscsi_hdr *hdr = tcp_conn->in.hdr;  in iscsi_tcp_process_data_in()
660 	if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_process_data_in()
665 		rc = iscsi_complete_pdu(conn, tcp_conn->in.hdr, NULL, 0);  in iscsi_tcp_process_data_in()
670 	iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_process_data_in()
688 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_hdr_dissect()  local
692 	tcp_conn->in.datalen = ntoh24(hdr->dlength);  in iscsi_tcp_hdr_dissect()
693 	if (tcp_conn->in.datalen > conn->max_recv_dlength) {  in iscsi_tcp_hdr_dissect()
696 				  tcp_conn->in.datalen, conn->max_recv_dlength);  in iscsi_tcp_hdr_dissect()
712 		      opcode, ahslen, tcp_conn->in.datalen);  in iscsi_tcp_hdr_dissect()
727 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
742 				rx_hash = tcp_conn->rx_hash;  in iscsi_tcp_hdr_dissect()
747 				      tcp_conn->in.datalen);  in iscsi_tcp_hdr_dissect()
749 			rc = iscsi_segment_seek_sg(&tcp_conn->in.segment,  in iscsi_tcp_hdr_dissect()
753 						   tcp_conn->in.datalen,  in iscsi_tcp_hdr_dissect()
763 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
764 			iscsi_tcp_data_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
785 		if (ISCSI_DEF_MAX_RECV_SEG_LEN < tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
790 					  tcp_conn->in.datalen,  in iscsi_tcp_hdr_dissect()
799 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
800 			iscsi_tcp_data_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
817 		if (tcp_conn->in.datalen)  in iscsi_tcp_hdr_dissect()
819 		iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
835 iscsi_tcp_hdr_recv_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_hdr_recv_done()  argument
838 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_hdr_recv_done()
845 	hdr = (struct iscsi_hdr *) tcp_conn->in.hdr_buf;  in iscsi_tcp_hdr_recv_done()
853 		if (sizeof(*hdr) + ahslen > sizeof(tcp_conn->in.hdr_buf))  in iscsi_tcp_hdr_recv_done()
877 		iscsi_tcp_dgst_header(tcp_conn->rx_hash, hdr,  in iscsi_tcp_hdr_recv_done()
881 		if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_hdr_recv_done()
885 	tcp_conn->in.hdr = hdr;  in iscsi_tcp_hdr_recv_done()
896 inline int iscsi_tcp_recv_segment_is_hdr(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_recv_segment_is_hdr()  argument
898 	return tcp_conn->in.segment.done == iscsi_tcp_hdr_recv_done;  in iscsi_tcp_recv_segment_is_hdr()
916 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_recv_skb()  local
917 	struct iscsi_segment *segment = &tcp_conn->in.segment;  in iscsi_tcp_recv_skb()
957 		rc = iscsi_tcp_segment_recv(tcp_conn, segment, ptr, avail);  in iscsi_tcp_recv_skb()
970 	rc = segment->done(tcp_conn, segment);  in iscsi_tcp_recv_skb()
1124 	struct iscsi_tcp_conn *tcp_conn;  in iscsi_tcp_conn_setup()  local
1127 				    sizeof(*tcp_conn) + dd_data_size, conn_idx);  in iscsi_tcp_conn_setup()
1137 	tcp_conn = conn->dd_data;  in iscsi_tcp_conn_setup()
1138 	tcp_conn->iscsi_conn = conn;  in iscsi_tcp_conn_setup()
1139 	tcp_conn->dd_data = conn->dd_data + sizeof(*tcp_conn);  in iscsi_tcp_conn_setup()