Granted Patent B2

US 12,341,997 · App. 18/484,064 · Granted Jun 24, 2025

Inventors: Xin Zhao (San Diego, CA); Xiang Li (Los Gatos, CA); Shan Liu (San Jose, CA)

Assignee: TENCENT AMERICA LLC

H04N19/625G06F7/78G06F17/16H04N19/12

Abstract

Claims (4408)

1. A method of encoding, the method being performed by at least one processor, and the method comprising:

determining information regarding a video sequence for coding;

determining, for coding of the video sequence, whether to use a first transform core matrix or a second transform core matrix,

wherein the first transform core matrix is a 16 point discrete sine transform (DST)-7 matrix that is constructed using following matrix:

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

{

c

,

f

,

i

,

l

,

o

,

o

,

l

,

i

,

{

e

,

j

,

o

,

m

,

h

,

c

,

-

b

,

-

g

,

{

g

,

n

,

l

,

e

,

-

b

,

-

i

,

-

p

,

-

j

,

{

i

,

o

,

f

,

-

c

,

-

l

,

-

l

,

-

c

,

f

,

{

k

,

k

,

0

,

-

k

,

-

k

,

0

,

k

,

k

,

{

m

,

g

,

-

f

,

-

n

,

-

a

,

l

,

h

,

-

e

,

{

o

,

c

,

-

l

,

-

f

,

i

,

i

,

-

f

,

-

l

,

{

p

,

-

a

,

-

o

,

b

,

n

,

-

c

,

-

m

,

d

,

{

n

,

-

e

,

-

i

,

j

,

d

,

-

o

,

a

,

m

,

{

l

,

-

i

,

-

c

,

o

,

-

f

,

-

f

,

o

,

-

c

,

{

j

,

-

m

,

c

,

g

,

-

p

,

f

,

d

,

-

n

,

{

h

,

-

p

,

i

,

-

a

,

-

g

,

o

,

-

j

,

b

,

{

f

,

-

l

,

o

,

-

i

,

c

,

c

,

-

i

,

o

,

{

d

,

-

h

,

l

,

-

p

,

m

,

-

i

,

e

,

-

a

,

{

b

,

-

d

,

f

,

-

h

,

j

,

-

l

,

n

,

-

p

,

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

,

}

f

,

c

,

0

,

-

c

,

-

f

,

-

i

,

-

l

,

-

o

,

}

-

l

,

-

p

,

-

k

,

-

f

,

-

a

,

d

,

i

,

n

,

}

-

c

,

d

,

k

,

o

,

h

,

a

,

-

f

,

-

m

,

}

o

,

i

,

0

,

-

i

,

-

o

,

-

f

,

c

,

l

,

}

0

,

-

k

,

-

k

,

0

,

k

,

k

,

0

,

-

k

,

}

-

o

,

-

b

,

k

,

i

,

-

d

,

-

p

,

-

c

,

j

,

}

c

,

o

,

0

,

-

o

,

-

c

,

l

,

f

,

-

i

,

}

l

,

-

e

,

-

k

,

f

,

j

,

-

g

,

-

i

,

h

,

}

-

f

,

-

h

,

k

,

c

,

-

p

,

b

,

l

,

-

g

,

}

-

i

,

l

,

0

,

-

l

,

i

,

c

,

-

o

,

f

,

}

i

,

a

,

-

k

,

l

,

-

b

,

-

h

,

o

,

-

e

,

}

f

,

-

n

,

k

,

-

c

,

-

e

,

m

,

-

l

,

d

,

}

-

l

,

f

,

0

,

-

f

,

l

,

-

o

,

i

,

-

c

,

}

-

c

,

g

,

-

k

,

o

,

-

n

,

j

,

-

f

,

b

,

}

o

,

-

m

,

k

,

-

i

,

g

,

-

e

,

c

,

-

a

,

}

with

⁢

⁢

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

}

=

{

7

,

18

,

25

,

34

,

40

,

48

,

54

,

61

,

68

,

74

,

77

,

81

,

86

,

86

,

88

,

88

}

,

wherein the second transform core matrix is 16-point a DCT-8 matrix constructed using the following matrix:

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

{

b

,

e

,

h

,

k

,

n

,

0

,

-

n

,

-

k

,

{

c

,

h

,

m

,

-

p

,

-

k

,

-

f

,

-

a

,

-

e

,

{

d

,

k

,

-

p

,

-

i

,

-

b

,

-

f

,

-

m

,

n

,

{

e

,

n

,

-

k

,

-

b

,

-

h

,

0

,

h

,

b

,

{

f

,

0

,

-

f

,

-

f

,

0

,

f

,

f

,

0

,

{

g

,

-

n

,

-

a

,

-

m

,

h

,

f

,

-

o

,

-

b

,

{

h

,

-

k

,

-

e

,

n

,

b

,

0

,

-

b

,

-

n

,

{

i

,

-

h

,

-

j

,

g

,

k

,

-

f

,

-

l

,

e

,

{

j

,

-

e

,

-

o

,

a

,

-

n

,

-

f

,

i

,

k

,

{

k

,

-

b

,

n

,

h

,

-

e

,

0

,

e

,

-

h

,

{

l

,

-

b

,

i

,

o

,

-

e

,

f

,

-

p

,

-

h

,

{

m

,

-

e

,

d

,

-

l

,

-

n

,

f

,

-

c

,

k

,

{

n

,

-

h

,

b

,

-

e

,

k

,

0

,

-

k

,

e

,

{

o

,

-

k

,

g

,

-

c

,

b

,

-

f

,

j

,

-

n

,

{

p

,

-

n

,

l

,

-

j

,

h

,

-

f

,

d

,

-

b

,

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

,

}

-

h

,

-

e

,

-

b

,

-

b

,

-

e

,

-

h

,

-

k

,

-

n

,

}

-

j

,

-

o

,

n

,

i

,

d

,

b

,

g

,

l

,

}

g

,

a

,

h

,

o

,

-

l

,

-

e

,

-

c

,

-

j

,

}

k

,

-

n

,

-

e

,

-

e

,

-

n

,

k

,

b

,

h

,

}

-

f

,

-

f

,

0

,

f

,

f

,

0

,

-

f

,

-

f

,

}

-

l

,

i

,

e

,

-

p

,

-

c

,

-

k

,

j

,

d

,

}

e

,

k

,

-

h

,

-

h

,

k

,

e

,

-

n

,

-

b

,

}

m

,

-

d

,

-

n

,

c

,

o

,

-

b

,

-

p

,

a

,

}

-

d

,

-

p

,

b

,

-

m

,

-

g

,

h

,

l

,

-

c

,

}

-

n

,

b

,

-

k

,

-

k

,

b

,

-

n

,

-

h

,

e

,

}

c

,

-

m

,

-

k

,

a

,

-

j

,

-

n

,

d

,

-

g

,

}

o

,

-

g

,

b

,

-

j

,

-

p

,

h

,

-

a

,

i

,

}

-

b

,

h

,

-

n

,

-

n

,

h

,

-

b

,

e

,

-

k

,

}

-

p

,

l

,

-

h

,

d

,

-

a

,

e

,

-

i

,

m

,

}

a

,

-

c

,

e

,

-

g

,

i

,

-

k

,

m

,

-

o

,

}

with

⁢

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

}

=

{

88

,

88

,

87

,

85

,

81

,

77

,

73

,

68

,

62

,

55

,

48

,

40

,

33

,

25

,

18

,

7

}

;

 and

based on the determining, coding the video sequence using the first transform core matrix or second transform core matrix.

2. The method of claim 1 , wherein the first transform core matrix has same numbers as the second transform core matrix with the numbers in reverse order.

3. An apparatus for decoding of a video sequence, the apparatus comprising:

at least one memory configured to store computer program code; and

at least one processor configured to access the at least one memory and operate according to the computer program code, the computer program code comprising:

obtaining code configured to cause the at least one processor to obtain information regarding a video sequence for decoding;

determining code configured to cause the at least one processor to obtain, for the decoding of the video sequence, information on a first transform core matrix or information on a second transform core matrix,

wherein the first transform core matrix is a 16 point discrete sine transform (DST)-7 matrix that is constructed using following matrix:

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

,

}

{

c

,

f

,

i

,

l

,

o

,

o

,

l

,

i

,

f

,

c

,

0

,

-

c

,

-

f

,

-

i

,

-

l

,

-

o

,

}

{

e

,

j

,

o

,

m

,

h

,

c

,

-

b

,

-

g

,

-

l

,

-

p

,

-

k

,

-

f

,

-

a

,

d

,

i

,

n

,

}

{

g

,

n

,

l

,

e

,

-

b

,

-

i

,

-

p

,

-

j

,

-

c

,

d

,

k

,

o

,

h

,

a

,

-

f

,

-

m

,

}

{

i

,

o

,

f

,

-

c

,

-

l

,

-

l

,

-

c

,

f

,

o

,

i

,

0

,

-

i

,

-

o

,

-

f

,

c

,

l

,

}

{

k

,

k

,

0

,

-

k

,

-

k

,

0

,

k

,

k

,

0

,

-

k

,

-

k

,

0

,

k

,

k

,

0

,

-

k

,

}

{

m

,

g

,

-

f

,

-

n

,

-

a

,

l

,

h

,

-

e

,

-

o

,

-

b

,

k

,

i

,

-

d

,

-

p

,

-

c

,

j

,

}

{

o

,

c

,

-

l

,

-

f

,

i

,

i

,

-

f

,

-

l

,

c

,

o

,

0

,

-

o

,

-

c

,

l

,

f

,

-

i

,

}

{

p

,

-

a

,

-

o

,

b

,

n

,

-

c

,

-

m

,

d

,

l

,

-

e

,

-

k

,

f

,

j

,

-

g

,

-

i

,

h

,

}

{

n

,

-

e

,

-

i

,

j

,

d

,

-

o

,

a

,

m

,

-

f

,

-

h

,

k

,

c

,

-

p

,

b

,

l

,

-

g

,

}

{

l

,

-

i

,

-

c

,

o

,

-

f

,

-

f

,

o

,

-

c

,

-

i

,

l

,

0

,

-

l

,

i

,

c

,

-

o

,

f

,

}

{

j

,

-

m

,

c

,

g

,

-

p

,

f

,

d

,

-

n

,

i

,

a

,

-

k

,

l

,

-

b

,

-

h

,

o

,

-

e

,

}

{

h

,

-

p

,

i

,

-

a

,

-

g

,

o

,

-

j

,

b

,

f

,

-

n

,

k

,

-

c

,

-

e

,

m

,

-

l

,

d

,

}

{

f

,

-

l

,

o

,

-

i

,

c

,

c

,

-

i

,

o

,

-

l

,

f

,

0

,

-

f

,

l

,

-

o

,

i

,

-

c

,

}

{

d

,

-

h

,

l

,

-

p

,

m

,

-

i

,

e

,

-

a

,

-

c

,

g

,

-

k

,

o

,

-

n

,

j

,

-

f

,

b

,

}

{

b

,

-

d

,

f

,

-

h

,

j

,

-

l

,

n

,

-

p

,

o

,

-

m

,

k

,

-

i

,

g

,

-

e

,

c

,

-

a

,

}

,

with

⁢

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

}

=

{

8

,

17

,

25

,

33

,

40

,

48

,

55

,

62

,

68

,

73

,

77

,

81

,

85

,

87

,

88

,

88

}

,

wherein the second transform core matrix is 16-point a DCT-8 matrix constructed using the following matrix:

{a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p,}

{b, e, h, k, n, 0, −n, −k, −h, −e, −b, −b, −e, −h, −k, −n,}

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

,

}

{

b

,

e

,

h

,

k

,

n

,

0

,

-

n

,

-

k

,

-

h

,

-

e

,

-

b

,

-

b

,

-

e

,

-

h

,

-

k

,

-

n

,

}

{

c

,

h

,

m

,

-

p

,

-

k

,

-

f

,

-

a

,

-

e

,

-

j

,

-

o

,

n

,

i

,

d

,

b

,

g

,

l

,

}

{

d

,

k

,

-

p

,

-

i

,

-

b

,

-

f

,

-

m

,

n

,

g

,

a

,

h

,

o

,

-

l

,

-

e

,

-

c

,

-

j

,

}

{

e

,

n

,

-

k

,

-

b

,

-

h

,

0

,

h

,

b

,

k

,

-

n

,

-

e

,

-

e

,

-

n

,

k

,

b

,

h

,

}

{

f

,

0

,

-

f

,

-

f

,

0

,

f

,

f

,

0

,

-

f

,

-

f

,

0

,

f

,

f

,

0

,

-

f

,

-

f

,

}

{

g

,

-

n

,

-

a

,

-

m

,

h

,

f

,

-

o

,

-

b

,

-

l

,

i

,

e

,

-

p

,

-

c

,

-

k

,

j

,

d

,

}

{

h

,

-

k

,

-

e

,

n

,

b

,

0

,

-

b

,

-

n

,

e

,

k

,

-

h

,

-

h

,

k

,

e

,

-

n

,

-

b

,

}

{

i

,

-

h

,

-

j

,

g

,

k

,

-

f

,

-

l

,

e

,

m

,

-

d

,

-

n

,

c

,

o

,

-

b

,

-

p

,

a

,

}

{

j

,

-

e

,

-

o

,

a

,

-

n

,

-

f

,

i

,

k

,

-

d

,

-

p

,

b

,

-

m

,

-

g

,

h

,

l

,

-

c

,

}

{

k

,

-

b

,

n

,

h

,

-

e

,

0

,

e

,

-

h

,

-

n

,

b

,

-

k

,

-

k

,

b

,

-

n

,

-

h

,

e

,

}

{

l

,

-

b

,

i

,

o

,

-

e

,

f

,

-

p

,

-

h

,

c

,

-

m

,

-

k

,

a

,

-

j

,

-

n

,

d

,

-

g

,

}

{

m

,

-

e

,

d

,

-

l

,

-

n

,

f

,

-

c

,

k

,

o

,

-

g

,

b

,

-

j

,

-

p

,

h

,

-

a

,

i

,

}

{

n

,

-

h

,

b

,

-

e

,

k

,

0

,

-

k

,

e

,

-

b

,

h

,

-

n

,

-

n

,

h

,

-

b

,

e

,

-

k

,

}

{

o

,

-

k

,

g

,

-

c

,

b

,

-

f

,

j

,

-

n

,

-

p

,

l

,

-

h

,

d

,

-

a

,

e

,

-

i

,

m

,

}

{

p

,

-

n

,

l

,

-

j

,

h

,

-

f

,

d

,

-

b

,

a

,

-

c

,

e

,

-

g

,

i

,

-

k

,

m

,

-

o

,

}

,

wherein

⁢

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

}

=

{

88

,

88

,

87

,

85

,

81

,

77

,

73

,

68

,

62

,

55

,

48

,

40

,

33

,

25

,

17

,

8

}

;

 and

decoding code configured to cause the at least one processor to, based on the determining, decode the video sequence using the first transform core matrix or the second transform core matrix.

4. The apparatus of claim 3 , wherein the first transform core matrix has same numbers as the second transform core matrix with the numbers in reverse order.

5. A method processing media, the method being performed by at least one processor, and the method comprising:

performing a conversion between a visual media file and a bitstream of a visual media data according to a format rule, the format rule indicating that the bitstream comprises a plurality of syntax elements and to implement:

determining, for processing the media, whether to use a first transform core matrix that is of a first size type or a second transform core matrix that is of a second size type, wherein the first transform core matrix is a discrete sine transform (DST)-7 and the second transform core matrix is a discrete cosine transform (DCT)-8; and

based on the determining, processing the media using the determined first transform core matrix or second transform core matrix, wherein the first transform core matrix is a 16-point DST-7 and the second transform core matrix is a 16-point DCT-8,

wherein the first transform core matrix is a 16 point discrete sine transform (DST)-7 matrix that is constructed using following matrix:

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

,

}

{

c

,

f

,

i

,

l

,

o

,

o

,

l

,

i

,

f

,

c

,

0

,

-

c

,

-

f

,

-

i

,

-

l

,

-

o

,

}

{

e

,

j

,

o

,

m

,

h

,

c

,

-

b

,

-

g

,

-

l

,

-

p

,

-

k

,

-

f

,

-

a

,

d

,

i

,

n

,

}

{

g

,

n

,

l

,

e

,

-

b

,

-

i

,

-

p

,

-

j

,

-

c

,

d

,

k

,

o

,

h

,

a

,

-

f

,

-

m

,

}

{

i

,

o

,

f

,

-

c

,

-

l

,

-

l

,

-

c

,

f

,

o

,

i

,

0

,

-

i

,

-

o

,

-

f

,

c

,

l

,

}

{

k

,

k

,

0

,

-

k

,

-

k

,

0

,

k

,

k

,

0

,

-

k

,

-

k

,

0

,

k

,

k

,

0

,

-

k

,

}

{

m

,

g

,

-

f

,

-

n

,

-

a

,

l

,

h

,

-

e

,

-

o

,

-

b

,

k

,

i

,

-

d

,

-

p

,

-

c

,

j

,

}

{

o

,

c

,

-

l

,

-

f

,

i

,

i

,

-

f

,

-

l

,

c

,

o

,

0

,

-

o

,

-

c

,

l

,

f

,

-

i

,

}

{

p

,

-

a

,

-

o

,

b

,

n

,

-

c

,

-

m

,

d

,

l

,

-

e

,

-

k

,

f

,

j

,

-

g

,

-

i

,

h

,

}

{

n

,

-

e

,

-

i

,

j

,

d

,

-

o

,

a

,

m

,

-

f

,

-

h

,

k

,

c

,

-

p

,

b

,

l

,

-

g

,

}

{

l

,

-

i

,

-

c

,

o

,

-

f

,

-

f

,

o

,

-

c

,

-

i

,

l

,

0

,

-

l

,

i

,

c

,

-

o

,

f

,

}

{

j

,

-

m

,

c

,

g

,

-

p

,

f

,

d

,

-

n

,

i

,

a

,

-

k

,

l

,

-

b

,

-

h

,

o

,

-

e

,

}

{

h

,

-

p

,

i

,

-

a

,

-

g

,

o

,

-

j

,

b

,

f

,

-

n

,

k

,

-

c

,

-

e

,

m

,

-

l

,

d

,

}

{

f

,

-

l

,

o

,

-

i

,

c

,

c

,

-

i

,

o

,

-

l

,

f

,

0

,

-

f

,

l

,

-

o

,

i

,

-

c

,

}

{

d

,

-

h

,

l

,

-

p

,

m

,

-

i

,

e

,

-

a

,

-

c

,

g

,

-

k

,

o

,

-

n

,

j

,

-

f

,

b

,

}

{

b

,

-

d

,

f

,

-

h

,

h

,

-

l

,

n

,

-

p

,

o

,

-

m

,

k

,

-

i

,

g

,

-

e

,

c

,

-

a

,

}

,

with

⁢

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

}

=

{

8

,

17

,

25

,

33

,

40

,

48

,

55

,

62

,

68

,

73

,

77

,

81

,

85

,

87

,

88

,

88

}

,

wherein the second transform core matrix is 16-point a DCT-8 matrix constructed using the following matrix:

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

,

}

{

b

,

e

,

h

,

k

,

n

,

0

,

-

n

,

-

k

,

-

h

,

-

e

,

-

b

,

-

b

,

-

e

,

-

h

,

-

k

,

-

n

,

}

{

c

,

h

,

m

,

-

p

,

-

k

,

-

f

,

-

a

,

-

e

,

-

j

,

-

o

,

n

,

i

,

d

,

b

,

g

,

l

,

}

{

d

,

k

,

-

p

,

-

i

,

-

b

,

-

f

,

-

m

,

n

,

g

,

a

,

h

,

o

,

-

l

,

-

e

,

-

c

,

-

j

,

}

{

e

,

n

,

-

k

,

-

b

,

-

h

,

0

,

h

,

b

,

k

,

-

n

,

-

e

,

-

e

,

-

n

,

k

,

b

,

h

,

}

{

f

,

0

,

-

f

,

-

f

,

0

,

f

,

f

,

0

,

-

f

,

-

f

,

0

,

f

,

f

,

0

,

-

f

,

-

f

,

}

{

g

,

-

n

,

-

a

,

-

m

,

h

,

f

,

-

o

,

-

b

,

-

l

,

i

,

e

,

-

p

,

-

c

,

-

k

,

j

,

d

,

}

{

h

,

-

k

,

-

e

,

n

,

b

,

0

,

-

b

,

-

n

,

e

,

k

,

-

h

,

-

h

,

k

,

e

,

-

n

,

-

b

,

}

{

i

,

-

h

,

-

j

,

g

,

k

,

-

f

,

-

l

,

e

,

m

,

-

d

,

-

n

,

c

,

o

,

-

b

,

-

p

,

a

,

}

{

j

,

-

e

,

-

o

,

a

,

-

n

,

-

f

,

i

,

k

,

-

d

,

-

p

,

b

,

-

m

,

-

g

,

h

,

l

,

-

c

,

}

{

k

,

-

b

,

n

,

h

,

-

e

,

0

,

e

,

-

h

,

-

n

,

b

,

-

k

,

-

k

,

b

,

-

n

,

-

h

,

e

,

}

{

l

,

-

b

,

i

,

o

,

-

e

,

f

,

-

p

,

-

h

,

c

,

-

m

,

-

k

,

a

,

-

j

,

-

n

,

d

,

-

g

,

}

{

m

,

-

e

,

d

,

-

l

,

-

n

,

f

,

-

c

,

k

,

o

,

-

g

,

b

,

-

j

,

-

p

,

h

,

-

a

,

i

,

}

{

n

,

-

h

,

b

,

-

e

,

k

,

0

,

-

k

,

e

,

-

b

,

h

,

-

n

,

-

n

,

h

,

-

b

,

e

,

-

k

,

}

{

o

,

-

k

,

g

,

-

c

,

b

,

-

f

,

j

,

-

n

,

-

p

,

l

,

-

h

,

d

,

-

a

,

e

,

-

i

,

m

,

}

{

p

,

-

n

,

l

,

-

j

,

h

,

-

f

,

d

,

-

b

,

a

,

-

c

,

e

,

-

g

,

i

,

-

k

,

m

,

-

o

,

}

,

with

⁢

{

a

,

b

,

c

,

d

,

e

,

f

,

g

,

h

,

i

,

j

,

k

,

l

,

m

,

n

,

o

,

p

}

=

{

88

,

88

,

87

,

85

,

81

,

77

,

73

,

68

,

62

,

55

,

48

,

40

,

33

,

25

,

17

,

8

}

.

6. The method of claim 5 , wherein the first transform core matrix has same numbers as the second transform core matrix with the numbers in reverse order.

Continuity (4)

References Cited (27)