CN102084416A - 音视频签名、导出签名的方法以及比较音视频数据的方法 - Google Patents
音视频签名、导出签名的方法以及比较音视频数据的方法 Download PDFInfo
- Publication number
- CN102084416A CN102084416A CN2009801129962A CN200980112996A CN102084416A CN 102084416 A CN102084416 A CN 102084416A CN 2009801129962 A CN2009801129962 A CN 2009801129962A CN 200980112996 A CN200980112996 A CN 200980112996A CN 102084416 A CN102084416 A CN 102084416A
- Authority
- CN
- China
- Prior art keywords
- audio
- data
- video
- signature
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 64
- 230000000007 visual effect Effects 0.000 title description 3
- 238000009826 distribution Methods 0.000 claims description 39
- 238000005259 measurement Methods 0.000 claims description 22
- 238000009795 derivation Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 25
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 5
- 201000005630 leukorrhea Diseases 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 206010046901 vaginal discharge Diseases 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
Abstract
本发明涉及用于生成音视频内容签名的音频和/或视频信号的特性分析。为了确定音频签名,在音频签名数据中标识例如高熵的感兴趣区域。然后,将该感兴趣区域提供作为具有偏移信息的音频签名。还提供了视频签名。
Description
技术领域
本发明涉及音频和/或视频信号的特性分析。具体地,本发明涉及音视频内容签名(signature)的生成和使用。
背景技术
越来越多的广播装置对生成音频、视频或音视频内容的指纹、或签名,以及对一个或多个音频、视频或音视频数据文件中和/或处于传输链、或音频和视频内容的并行传输链中的一个或多个位置的这种内容的指纹或签名的比较感兴趣。
已知许多获取指纹、或签名的不同方法。本发明试图提供一种新的签名以及用于获得并使用扩展现有技术可用的一系列技术的签名的技术。本发明的签名尤其适用于要求小签名尺寸的应用。
发明内容
根据本发明的一个方面,提供了一种导出多个音频样本的签名特性的方法,包括以下步骤:确定代表音频样本的音频签名数据;确定形成感兴趣区域的音频签名数据的部分;以及提供该音频签名数据部分和标识(identify)音频签名数据内感兴趣区域的位置的位置数据作为音频签名。
根据本发明的第二方面,提供了一种导出视频数据和相关联音频样本的多个字段或帧的签名特性的方法,包括以下步骤:根据本发明确定音频签名;根据视频字段或帧中的图像信息值确定视频字段或帧的空间分布数据;由空间分布数据构成视频签名;以及提供音频签名和视频签名作为音视频签名。
根据本发明的第三方面,提供了一种导出视频数据的多个字段或帧的签名特性的方法,包括以下步骤:根据视频字段或帧中的图像信息值确定视频字段或帧的空间分布数据;以及由空间分布数据构成签名。
根据本发明的第四方面,提供了一种比较视频或音视频数据的方法,其中,在从第一视频或音视频序列的一个或多个字段或帧中导出的第一视频签名数据与在第二视频或音视频序列内的多个时间位置处导出的第二视频签名数据之间进行多次比较,建立视频签名数据的最佳匹配的时间位置。
根据本发明的第五方面,提供了一种比较音频或音视频数据的方法,其中,在从第一音频或音视频序列的两个或多个音频样本中导出的第一音频签名数据与在第二音频或音视频序列内的多个时间位置处导出的第二音频签名数据之间进行多次比较,建立音频签名数据的最佳匹配的时间位置。
根据本发明的第六方面,提供了一种计算机程序产品,包括适于实施根据本发明的方法的代码。
根据本发明的第七方面,提供了一种装置,适于实施根据本发明的方法。
根据本发明的第八方面,提供了一种用于音视频数据的签名,包括:视频签名;以及包括音频签名数据和标识感兴趣区域的位置的偏移数据的音频签名。
附图说明
现在将参照附图描述本发明的实例,其中:
图1示出了可以实施本发明的监控系统的纵览;
图2是根据第一示例性实施方式的用于生成音频签名数据的电路的框图;
图3示出了示例性音频签名;
图4示出了来自示例性音频签名的代表段的选择;
图5示出了音频签名数据所选段内的转换距离(transition distance)计数的示例性直方图;
图6示出了示例性视频空间签名检测窗口;
图7示出了示例性实施方式中的主AV内容分析器的操作;以及
图8是第二示例性实施方式的框图。
具体实施方式
现在将参照附图描述本发明。本发明可以应用于流式音视频数据的分析,并且还可以应用于音视频数据文件或音视频序列的其他表示的分析。可以比较由流式音视频数据和/或音视频数据文件的分析所产生的签名数据,以建立音视频内容的身份,测量音频数据与标称捕获时间(例如,时间码)之间和/或视频数据与标称捕获时间(例如,时间码)之间的延迟,和/或测量音频数据和视频数据之间的相对延迟。
现在将参照广播链中两个点处的流式音视频信息之间的音视频内容的比较来描述本发明的第一实施例。
图1示出了可以实施本发明的监控系统的纵览。携带表示特定音视频(AV)内容的AV数据的通信信道2具有插入其中的第一AV内容分析器6和第二AV内容分析器8。这些分析器可以生成元数据,并将其附加至通信信道2上所携带的数据。第一AV内容分析器6经由辅助通信信道10与第二AV内容分析器8耦合,使指令和数据能够在第一AV内容分析器6和第二AV内容分析器8之间交换。该辅助信道10可以是控制和监控信道,并且可以以任何已知的方式来实施。通常,辅助信道10与信道2的带宽相比较是低带宽。
在第一AV内容分析器6和第二AV内容分析器8之间的信道2中存在未知信道处理12。未知信道处理12通过但不限于以下处理来示例:音频或视频噪声降低;音频或视频压缩;视频标识插入;视频色域合法化;音频或视频同步;视频嵌入/去嵌入的音频输入/输出;视频标准转换;以及音频或视频格式或压缩自动译码。该处理可以改变AV数据和/或改变不同点处音频数据和视频数据之间的延迟。从而,比较第一AV内容分析器6中的AV数据和第二AV内容分析器8中的AV数据,以验证第一AV内容分析器6和第二AV内容分析器8中的AV内容是否相同是令人满意的。此外,比较每个分析点处的音频和视频数据之间的相对延迟是有用的。
显然,对于本领域的技术人员而言本发明可以应用于其他系统配置将是显而易见的。例如,本发明可用于比较音视频数据内容和测量来自摄制作品处理(以及在很多其他情况下)的描绘相同内容的多个音视频馈送之间的相对延迟。
现在将描述所示系统的主要操作。在以下描述中,假设第二AV内容分析器8为“主”AV内容分析器,其指示第一AV内容分析器6生成AV签名,并将其自身的AV签名与第一AV内容分析器6所生成的AV签名进行比较。然而,对于本领域的技术人员而言可选地,该系统可以被配置为使得第一AV内容分析器6用作主内容分析器将是显而易见的;或者使得独立的设备用于指示第一和第二AV内容分析器6、8以生成并报告各自的AV签名。
在第一步骤中,选择应该执行AV分析的时间。在所示实施例中,用作主内容分析器的第二AV内容分析器8选择应该执行AV分析的时间,并指示第一AV内容分析器6在所选时间生成AV签名。第二AV内容分析器8也在所选时间生成AV签名。
考虑到用作主内容分析器的第二AV内容分析器8和第一AV内容分析器6之间的辅助信道10中的任何延迟,应选择时间,使得当由第一AV内容分析器6接收在该时间生成AV签名的指令时,该时间仍在将来。所选时间通常涉及AV内容自身的特征。因此,在一种配置中,执行AV分析的时间的选择可以通过指定生成AV签名的、用AV数据分配或嵌入AV数据中的特定时间码来实现。确定何时执行AV分析的其他方法也是可以的,例如,可以以规则的时间码间隔和/或在确定字段、帧或样本块的数目之后,或者当检测到程序改变或其他程序特征时执行AV分析。
在第二步骤中,在指定时间生成用于AV内容的AV签名。在所示实施例中,第一和第二AV内容分析器6、8均生成用于AV内容的AV签名数据。通常,第一和第二AV内容分析器6、8中的每一个都首先捕获预定的持续时间的AV内容,并将所捕获的AV内容存储在本地存储器中。
显然,如同通常的情况,在第一和第二AV内容分析器6、8之间的信道2和辅助信道10中存在任何延迟,则第一和第二AV内容分析器6、8中AV内容的捕获将不会同时实时发生。然而,所捕获的AV内容将是标称地相同AV内容,因为AV内容的捕获是通过AV内容自身的特征检测来开始的,例如所示实施例中的时间码。
在AV内容分析器6、8的每一个中,所捕获的AV内容可以被处理生成AV签名,这在下文中将更加详细地说明。在AV分析器6、8的每一个中执行对应的处理,并且该处理可以仅涉及音频信息,或者可以仅涉及视频信息,或者可以涉及音频和视频信息。在本发明的描述中,音频和视频信息均被捕获和处理以生成AV签名,这将在以下描述中更加详细地说明。然而,在一些实施例中,可以仅捕获和处理音频信息,或者仅捕获和处理视频信息,以生成AV签名。
在第三步骤中,在AV签名之间进行比较。第一AV内容分析器6将其AV签名发送至在本实施例中用作主内容分析器的第二AV内容分析器8。例如在软件相关测量中可比较AV签名数据,以确定该AV签名是否相同。此外,可以建立结果中的置信水平。AV签名数据的比较将在以下描述中进行更加详细地说明。
本领域的技术人员应该理解,可以以各种方式生成音频签名。现在将描述根据本发明的示例性实施例的建立音频签名以形成AV签名的全部或部分的详细方法。
示例性实施方式的音频签名是表示音频内容的特性二进制信号。例如,如果使用黑带表示音频签名中的“0”用白带表示“1”(或反之亦然)来直观地表示签名,则会产生黑带和白带的特性图案。该特性带状图案直观上让人想到零售条形码,因此,音频签名可以被称为音频条形码。通常,音频签名将代表原始信号,至少在感觉上不同的音频信号将生成不同的音频签名,并且音频签名可以通过明显少于原始音频信号的位来表示音频签名。
在一些实施方式中,音频签名可以直接由原始音频样本生成,或者在其他实施方式中,在生成音频签名之前可以以某种方式对原始音频样本进行处理。在所示实施方式中,输入音频样本经过示例性处理,从而减小所得音频签名的大小,这将在下面进行更加详细地说明。
对于流式或未压缩音视频数据,通常对每个音频信道使用48kHz的采样率。结果,以每秒50-60字段或帧的频率发生的视频数据的每个字段或帧将包含每个音频信道的800-960个音频样本。通常,AV内容将具有与视频数据相关联的多个音频信道;一些当前系统提供伴随视频数据的音频数据的16个信道。
由于许多有用的区别信息包含在低频中,所以可以生成有用的音频签名,而不使用全音频采样率。在示例性实施方式中,对于每个信道所捕获的音频样本通过低通滤波器,然后抽选低通滤波器的输出。该处理保留了包含在原始信号的低频分量中的有用区别信息,同时减小或消除了来自原始信号的较高频分量中的由抽选所产生的伪信号(即,减小了采样频率)。
可以由低通滤波器的输出生成二进制信号。在示例性实施方式中,低通滤波音频样本被高通滤波,以去除DC分量和非常低的频率分量;所得到的滤波音频样本被抽选。抽选、滤波的音频样本的一系列符号位形成音频签名数据。
图2是根据示例性实施方式的用于生成音频签名的电路的框图,现在将描述其操作。例如已从一个或多个视频字段或帧的消隐间隔中去嵌入的音频样本在无限脉冲响应(IIR)滤波器级20中进行低通滤波,该结果在有限脉冲响应(FIR)滤波器级30(在DC中具有零响应)中进行高通滤波。FIR滤波器级30的输出被施加到抽选器40,并且抽选器40的输出的符号位被获得并存储到存储器中,以形成示例性音频签名数据。
IIR低通滤波器级20包括用于使输入样本与因子k相乘的乘法器22。乘法器22的输出被传送到两输入端加法器24的一个输入端。加法器24的输出经过一个样本周期延迟26,并在提供给加法器24的另一个输入端之前在乘法器27中乘以因子(1-k)。加法器24的输出形成了IIR滤波器级20的输出,然后该输出被施加到FIR滤波器级30。
FIR高通滤波器级30包括n样本延迟32和减法器34,向这二者都提供IIR滤波器输出28。n样本延迟32的输出被提供给减法器34的另一输入端。减法器34从未延迟的IIR滤波器输出28中减去延迟的IIR滤波器输出(来自n样本延迟32),并输出结果作为FIR滤波器级输出36。
如上所述,FIR滤波器级输出36被施加到抽选器40。抽选器40通过因子N抽选滤波音频样本,并且顺序存储所得到的滤波音频样本抽选序列的符号位以形成音频签名数据。对于48kHz的音频采样率,N的适当值为160。对于16位音频样本,抽选处理与仅获取滤波输出样本的符号位的步骤一起因此导致数据大小从初始音频数据样本到音频签名数据按2560∶1减小。
显然,尽管在示例性实施方式中以48kHz的采样率对音频样本进行采样,但是本发明可以应用于以任何采样率采样的音频样本。在一些实施方式中,音频数据可以在滤波处理之前被整流(rectify),使得对应于音频样本的绝对幅值的数据值被处理;然后经整流和滤波的数据表示落入滤波器通带内的音频频谱的部分的能量的测量。在所示实施方式中,k=1/512和n=160的值产生隔离从大约10Hz扩展到大约300Hz的低频带的滤波器。然而,本领域的技术人员能够设计其他滤波器配置并选择不同参数。
图3示出了表示仅一秒钟的音频、320位宽的示例性音频签名数据。在该实施例中,通过使用黑带代表音频签名中的“0”白带代表“1”来直观地表示音频签名数据的每一位,产生黑和白带或条的特性图案。可以清楚地从图3的音频签名数据的示例性直观表示中看出,可变宽度的交替黑和白条的图案由音频签名数据的直观表示所产生。
可以选择音频签名的感兴趣区域,这将实现音频签名数据的大小的进一步减小。在示例性实施方式中,估计所生成的音频签名数据,以确定音频签名数据中最明显且由此对于标识目的最有用的部分。通常,这将是音频签名数据在条宽度的分布中具有最大局部变化的部分。
音频签名数据的所选部分、以及标识原始音频签名数据中音频签名数据的所选部分的位置的位置数据被用作音频签名。在本实施例中,选择由上述72000个音频样本生成的450位中的120位的部分。然而,显然,可以使用用于所选部分的长度和音频签名数据的总长度的其他值。
可以以多种方式选择条宽度中具有最大变化的音频签名数据的部分,一种方法为测量音频签名数据的多个部分内的条宽度的分布的熵,并且选择具有与其相关联的最大测量熵的部分。在示例性实施方式中,这可以通过顺序选择音频签名数据的部分(例如处于相对于要求执行音频分析的所选时间的不同时间偏移的多个短小部分)来实现。对于每个偏移位置,创建不同条宽度的发生的相对频率的直方图;宽度被测量作为包括每“条”的相邻1s或相邻0s的数目。每个部分的熵可以从宽度值的各个直方图中获得,并且可以选择具有最大熵的部分。
在图4和图5中示出了这种处理的实例。图4示出了音频签名数据402的一小部分和对应的“条”表示403。签名数据内的三个22位宽窗口也被示出为404、405、406。窗口405和406分别相对于窗口404偏移1位和2位。全部包括在每个窗口的条的宽度被示出为407、408和409。
可以看出,窗口407和408包括相同组的条,但是窗口409包括附加条。图5示出了窗口的条长度的发生频率的直方图;图5a对应于窗口404和405,以及图5b对应于窗口406。
对应于这些直方图中的每一个的熵都可以根据以下等式来计算:
Ew=∑pilog(pi)
其中,Ew为相关窗口的熵;
pi为条宽度i的发生频率除以窗口内条的总数(该总数将在后面的公式中用Nw来表示);以及
在相关窗口中发生的所有i的值上进行求和。
由于目标是寻找最大熵值,所以与对数的基数不相关,尽管通常在计算信息量时使用基数2。
在所示实施例中,图5a在边上具有较大熵,因为分布是较不“尖峰的”。
在实际应用中,为了实现有效处理,期望简化重复的熵计算;这可以通过查找初始窗口的熵,然后随着窗口位置的增加而评估熵的变化来实现。一旦已经评估了第一窗口的熵,就可以通过仅对由于条进入或离开窗口而改变的和起作用的那些进行重新评估,来找到偏移的熵的差、重叠窗口,并适当地增加或减小第一熵值。
如果窗口位置移动一位周期,则窗口内的条的总数Nw将:
●一致增加;或者
●保持不变;或者
●一致减少。
以及
●没有频率值将发生变化;或者
●一个频率值将一致增加;或者
●一个频率值将一致减小;或者
●一个频率值将一致增加,而另一频率值将一致减小。
如果宽度n+的条变得更多,和/或宽度n-的条变得更少,则由窗口的移动所引起的熵值的改变可以在数学上表示为如下:
如果Ew为包Nw条的原始窗口的熵;以及
Ew+1为包含Nw+1条的移动窗口的熵:
使f(w)={Nwlog(Nw)}Ew
且f(w+1)={Nw+1log(Nw+1)}Ew+1
可以示出:
f(w+1)=f(w)-Nwlog(Nw)+Nw+1log(Nw+1)+Δ++Δ-
其中:Δ+={n+log(n+)-(n++1)log(n++1)}
或者零,如果没有频率值增加;
以及Δ-={n-log(n-)-(n--1)log(n-+1)}
或者零,如果没有频率值减小。
随着窗口位置的增加,计算Δ+和Δ-相对直接,从而找到f(w)中的改变,从中可以确定最大熵的窗口位置。
通常,从音频签名数据的450位宽段内选择具有最大熵的120位宽的窗口。一旦建立了具有最大熵的音频签名数据的部分和音频签名数据内该部分的位置,则包括该部分的数据和描述其位置的数据可以被用作音频签名。
优选地,音频签名数据部分的选择偏向于选择接近所捕获音频签名数据中间的部分,以提供最大的检测延迟的能力,以及适应正延迟和负延迟。这可以通过将音频签名数据的边缘区域不包括在最大熵部分的确定中来简单地实现。可选地,所计算的熵可以通过可变量来调节,以使最大熵部分的选择偏向所捕获音频签名数据的中间。
在AV数据包括多信道音频数据的情况下,关于一个或多个音频信道,可生成上述音频签名。
多信道音频的特殊情况为‘环绕声’,其中,通常六个或更多个音频信号被同时从不同定位的扬声器呈现给收听者。存在用于将这种音频信号组‘下混合(downmixing)’为较少数量的信道(通常包括分别用于‘左’和‘右’扬声器的两个信号的‘立体对’)的公知技术。还存在相关系统,其中,信道数量的减少涉及非线性处理、或者频率依赖性相移,以能够从具有最小目标损伤的较低数目中恢复较高数目的信道。
环绕声材料的音频签名可以通过任意上述方法从较多数量的信道向下混合的两个信道中得到。这通常能够大大简化监控系统。在一些情况下,有用的签名可以从由多信道环绕声源向下混合的单信道中得到。
当足够的数据容量可用时,音频签名可以通过包括由其他音频分析工具获得的‘元数据’来增加。从限带音频中得到的上述签名不足以表示所使用的滤波器的带宽外的情况;尤其是高频瞬变过程中,诸如由干扰或设备故障所引起的‘喀哒声’可以被忽略。可以使用检测这种事件(可能包括具有相同值的连续音频样本的检测)的公知技术,并且在限定时间周期中检测事件的数量可以被格式化为元数据并包括在签名中。
其他适当的元数据包括幅度或目标响度信息,包括寂静周期的检测。
本领域的技术人员应该理解,可以以各种方式生成视频签名。现在将描述根据本发明示例性实施方式的建立视频签名以形成AV签名的整体或部分的详细方法。
术语“空间分布数据”用于指与视频数据的每个字段或帧内的图像信息的空间分布相关的信息(例如,像素的亮度值)。空间分布数据可以在视频的部分之间的区分方面尤其有效。然而,为了在视频的部分之间进行精确区分,需要与图像信息的空间分布相关的相对大量的信息。在签名大小的减小是有利的情况下,空间分布数据可以被提供仅用于一些视频字段或帧,和/或可以与其他类型的签名信息组合。
术语“运动分布数据”用于指与视频数据的连续字段或帧之间图像信息的差别有关的基于运动的签名信息。基于运动的签名信息在视频的部分之间的区分上非常有效,并产生高度辨别性的视频签名。具体地,已经发现基于运动的签名信息在表征视频序列上非常有效,并且容许例如标识插入或压缩编码。然而,对于静止或低运动图像或渐变至黑色,压缩假象会非常显著,仅使用基于运动的签名信息难以区分这些类型的图像。
因此,为了提供健壮的视频签名,在示例性实施方式中,基于运动的签名信息和基于空间的签名信息被用在视频签名中。
技术人员应当理解,可以以各种方式生成基于运动的签名信息和基于空间的签名信息。
在示例性实施方式中,通过首先对输入图像区域中的输入像素亮度值进行块累计来确定基于运动的签名信息。输入图像的每一个区域将在本文中被表示为图像区域(PR)并具有对应的PR块值。
该处理可以被认为是组合的低通滤波和子采样操作。子采样操作减小了存储量和需要生成基于运动的签名信息的处理操作的数量,尤其对存储器或处理资源不足的情况有利。
在示例性实施方式中使用的子采样操作产生字段或帧的表示,其足够详细,以至能够可靠地挑选帧内或字段内差别。在示例性实施方式中,选择PR大小,以将字段或帧水平地和垂直地划分为相同数目的PR,而不考虑输入字段或帧中像素的数目。通过确保在不同的图像大小中存在相同数目的PR,可以进行具有不同光栅结构的字段或帧之间的比较,例如隔行扫描和逐行扫描的字段或帧之间的比较。例如,这能够进行高清晰度(HD)和标准定义(SD)图像之间的精确比较。因此,例如,水平24像素和垂直24线的PR大小可用于1080线隔行扫描高清晰度(HD)视频的字段;水平16像素和垂直32线的PR大小可用于720线逐行扫描高清晰度(HD)视频的帧;以及水平9像素和垂直12线的PR大小可用于576线逐行扫描标准定义(SD)视频的字段。
为了生成基于运动的签名信息,对每个PR的块值与先前字段或帧中的对应PR的块值进行比较,并且特定字段或帧中的每个PR的差值在该字段或帧的所有PR上进行累计。整个字段或帧的累计差值被删减为8位值,从而有效确定一对相邻字段或帧之间的平均像素差值。
因此,示例性实施方式中的基于运动的签名信息包括每字段或帧一个字节。
在示例性实施方式中,基于空间的签名信息还源自在确定基于运动的签名信息期间生成的PR的块值。为了避免由标识或其他附加内容所引起的任何错误结果,在示例性实施方式中,空间签名检测窗口被限定为排除空间签名的图像外围。这在图6中示出,其中,使用中心定位的空间签名窗口62,其具有等于图像宽度0.8倍的宽度和等于图像高度0.5倍的高度。
在排除被添加的任何‘黑色条’之后,确定用于导出窗口(还在导出基于运动的签名数据时应用)的图像宽度和高度,以使图像的预期纵横比与在相关传输标准中指定的显示设备的纵横比相匹配。(这些‘条’不总是黑色的,但是在外观上是统一的。)因此,对于在4∶3纵横比显示器的中心显示的16∶9纵横比图像‘柱形条’来说,窗口的高度将从传输图像高度的1/2减小到图像高度的3/8。并且,对于16∶9显示设备的中心显示的4∶3图像‘柱形条’来说,窗口的宽度将从传输图像宽度的8/10减小到图像宽度的3/5。
任何黑色条的存在和大小可以被自动检测,例如通过英国专利申请0806050.1中描述的方法。可选地,条的存在可以源自与被分析的视听材料相关联的数据。
通过将空间签名窗口划分为8列来限定8个空间图像区(PA),诸如图6所示的PA 65。通过累计落入各个PA内的PR块值以形成各自的PA块值,为8个PA中的每一个导出基于空间的签名信息。
假设8位视频数据,8个PA中的一个的累计块PA值可以达到24位。在示例性实施方式中,8个PA块值中的每一个都被删减为8位;由此在每个PA中给出平均亮度的量化表示。在示例性实施方式中,这些8字节被用作每个字段或帧的基于空间的签名数据。
在一些实施方式中,用于所捕获AV内容的每个字段或帧的空间分布数据被包括在视频签名中,即,提供连续的空间签名。在其他实施方式中,用于所捕获AV内容的仅一些字段或帧的空间分布数据被包括在视频签名中,即,提供不连续的空间签名。包括用于所捕获AV内容的仅一些字段或帧的空间分布数据不会显著削弱视频信号的分析精度,但是会大大减小视频签名的大小。这种视频签名大小的减小在期望减小传送签名所需的信道容量或者存储签名所需的存储容量的情况下是有利的。
因此,与隔行扫描视频或音视频序列中的特定时间点相关联的视频签名的典型实施例包括来源于直到并包括特定时间点的序列一小部分(90个字段)中的所选字段的基于运动的签名数据和基于空间的签名数据。
基于运动的签名部分包括源自从直到并包括特定时间的该90字段部分中心获取的视频序列的50字段部分的50个基于运动的签名数据字节的序列。基于空间的签名部分包括从该50字段部分内的四个字段中的每个获取的8字节数据,和描述该50字段部分内这四个字段所在的位置的2个字节。因此,与特定时间点相关联的视频签名包括总共86个字节。
如上所述对于音频签名的情况,视频签名可以通过从视频分析工具的附加元数据来增加。适当的数据包括:
●由于基于块的处理而引起的假象的测量,例如,通过英国专利申请GB 2 437 337中描述的方法来获得
●‘黑色’的测量,通过英国专利申请GB 2 434 496中描述的方法来获得
●颜色缺乏的测量,通过英国专利申请GB 2 437 338中描述的方法来获得
●‘静止’的测量,通过英国专利申请GB 2 428 924中描述的方法来获得
●视频的‘非图像’(例如,由于设备故障所引起的不相关信息)性质的测量,通过在英国专利申请GB 2 430 102中描述的方法来获得
现在将在图7的以下描述中更加详细地说明AV签名的比较,其示出了在示例性实施方式中用作主AV内容分析器的图1中的第二AV内容分析器8的操作。
本地AV数据700(来自图1的信道2)被输入至本地AV数据存储器701,该本地AV数据存储器701被配置为保存当前接收的数据和先前短时间内的数据部分。通常,在存储器中保存与大约1.5秒的音视频材料相对应的数据;比它早的数据被丢弃,因为更新的数据变得可用并被输入至存储器701。
AV数据700通常包括音频、视频和相关的时间信息(例如,时间码值、时间基准信号、同步脉冲或时间戳等)。存储器701的内容通过多路分离器702被分为这三种分量。对于示例性的1.5秒存储,来自多路分离器702的视频数据包括每秒视频50字段的75个字段,或者每秒视频60字段的90个字段;以及来自多路分离器702的音频数据可以包括72000个音频样本。
来自多路分离器702的时间数据能够使这些多路分离的视频字段和音频样本根据与输入AV数据700相关联的时间数据来确定。如先前所解释的,AV内容自身的特征可用于限定时间位置。
多路分离的视频数据通过本地视频签名生成器703转换为本地视频签名数据,本地视频签名生成器703为存储在存储器701中的所有字段或帧提供视频签名数据。通常,本地视频签名生成器703将如上所述进行操作,并生成1字节的基于运动的签名数据、以及每字段或帧8字节的空间签名数据。
多路分离的音频数据通过本地音频签名数据生成器704转换为本地音频签名数据。通常,本地音频签名生成器704将如上所述进行操作,以过滤音频样本,抽选结果并得到符号位。这将由72000个音频样本生成450位的签名数据(注意,在该处理中不进行根据熵的选择)。
此外,经由与图1的辅助通信信道10的连接来接收来自图1的第一AV内容分析器6的AV签名705。如先前所解释的,向图1的第一分析器6请求这些签名。这些签名通过多路分离器706被多路分离为:音频签名;音频签名时间数据;视频签名;以及视频签名时间数据。
来自多路分离器706的视频签名将包括在直到并包括所请求签名时间的90字段视频段期间发生的特定视频字段的签名数据;通常,50个字段中的每个1个字节基于运动的签名数据,以及4字段中的每个8字节基于空间的视频签名数据。
来自多路分离器706的音频签名将包括根据最大熵准则从图1的分析器6中选择的音频签名数据的120位部分。
来自多路分离器706的视频签名时间数据和音频签名时间数据,能够根据与(经由信道2)输入至图1的分析器6的AV内容相关联的时间数据来标识确定(在图1的分析器6中)视频签名数据和音频签名数据的视频字段和音频样本的时间(timing)。该标识将利用基于空间的视频签名内的2字节时间数据以及音频签名内的2字节偏移数据。
在视频签名比较器707中将从多路分离器706接收的每个所请求视频签名与来自本地视频签名生成器703的所有本地视频签名数据进行比较。比较器707从本地视频生成器703中查找与来自多路分离器706的签名最佳匹配的本地视频签名数据,并输出与所请求视频签名最佳匹配的本地视频签名数据的相似性的测量。这种相似性测量被输出作为视频相似性输出708。
视频签名比较器707还比较:
●来自多路分离器706的对应于所接收视频签名的时间数据
与
●来自多路分离器702的对应于最佳匹配本地视频签名数据的时间数据。
该时间差被输出作为视频时间改变输出709。
视频相似性测量可以是通过第一AV内容分析器6和第二AV内容分析器8捕获的视频内容相似性的置信度的测量。在本发明的示例性实施方式中,通过测量视频签名之间的绝对差来比较视频签名。在本发明的其他实施方式中,可通过执行视频签名之间的相关性来比较视频签名。如上所述,在示例性实施方式中,视频签名由空间分布数据和运动分布数据形成。视频签名的这些分量可以被分别比较或相关联。
通常,在从本地视频签名生成器703本地生成的签名数据内的不同时间位置处进行多种差或相关性确定,并且评估结果来找到最佳匹配的位置。
在音频签名比较器710中将来自多路分离器706的每个所接收的音频签名部分与来自本地音频签名生成器704的所有本地音频签名数据进行比较。该比较器从本地音频生成器704中识别与所接收音频签名部分最匹配的本地音频签名数据的部分,并将各个部分的相似性测量作为音频相似性输出711输出。
音频签名比较器710还比较:
●来自多路分离器706的对应于所接收音频签名部分段的音频签名时间数据
与
●通过来自多路分离器702的本地时间数据确定的最佳匹配音频部分的时间。
该时间差被输出作为音频时间改变输出712。
例如,可通过减法器713来比较音频时间改变输出711与视频时间改变输出709,以获得AV时间改变输出714。该输出描述了音频与视频相对延迟的改变。
通常,图1的数据信道10将具有相对低的带宽,并且可以从上述实施例中看出,只有AV签名的103个字节(排除分析时间的限定)需要从分析器6传送到分析器8,以执行它们各自AV输出的比较。
如上所述,在许多当前系统中,存在多个音频信道,该音频签名处理可应用于多个音频信道中的一个、所有或者子集。在多音频信道实施方式中,可以经由一个或多个音频信道的连接705来接收音频签名数据;并且多个音频信道可以从数据700中多路分离并存储在存储器701中。一个或多个所接收的音频签名可以在多路分离器706中进行多路分离并与对应于一个或多个存储的音频信道相对应的音频数据进行比较,以确认图1的分析器6输入端处一个或多个音频信道与输入至分析器8的数据700中的一个或多个音频信道的一致性。
在示例性实施方式中,确定所接收音频签名部分与本地音频签名数据的候选部分之间的绝对差,并且具有最小绝对差的部分被识别为最佳匹配。注意,由于音频签名数据是二进制数据,所以绝对差的确定相当于互相关联,并且可以通过简单的异或逻辑运算来实现。
因此,上述技术能够识别发生在图1的分析器6和8之间的音视频数据的变化;具体改变如下:
●相对于时间码(或标称位置)的音频延迟;
●相对于时间码(或标称位置)的视频延迟;
●任意音频信道之间的相对延迟;以及
●任意音频信道与相关联视频信道之间的相对延迟。
此外:
●视频内容相似性的置信度测量;和
●音频内容相似性的置信度测量
可以单独使用、彼此结合使用,或者与上述延迟测量组合使用,以提供两个分析点处AV的内容的相似性置信度的总体测量。
现在将参照图8描述本发明的第二实施方式。
表示AV内容的音视频数据801通过AV内容分析器803传送至压缩编码器800。压缩编码器生成存储在的存储器中(例如,文件服务器804上)的第一压缩AV文件802。AV内容分析器803执行与第一实施方式相关的上述AV内容分析操作,并将所得到的音频和视频签名存储在文件服务器804上的第一元数据文件806中。
通常,第一压缩AV文件802可以经受附加处理808,例如译码为不同的压缩格式或其他内容再利用处理,以创建第二压缩AV文件810。
AV内容分析处理812可执行再利用(repurpose)压缩AV文件810的内容的进一步AV内容分析。这种分析遵循先前描述的原则,但是还包括AV数据的全压缩解码或部分压缩解码,以获得分析所需要的音频和视频元素。该内容分析的结果为第二元数据文件814。在该实施方式中,AV内容分析812以软件处理的方式实施,其根据上述原则对第二压缩AV文件810进行操作,生成包括在第二元数据文件814中的音频签名数据和视频签名,其中,第二数据文件814存储在文件服务器804中。
可以在根据上述原则操作的元数据比较处理816中比较第一元数据文件806和第二元数据文件804。比较结果可以方便地附加至第二元数据文件814。在示例性实施方式中,元数据比较处理816被实施为软件处理,其可以与内容分析处理812相结合。但是,正如对本领域的技术人员将是显而易见的,比较处理816可以实施为单独的软件或硬件模块。
如上所述,可以进行AV系统中不同点处压缩和未压缩音视频数据的分析,并且可以比较分析结果以监控AV系统。可以进行视频数据和音频数据的各自相似性测量;可以估计音频和视频签名数据相对于时间码或者其他时间基准的各自时间;和/或可以检测音频数据和视频数据之间的相对延迟。因此,本发明提供了有利的分析和监控系统。
本发明可以在流式视频数据上实践,但是还可以应用于视频和音频文件。所描述的签名可以作为直接包括在AV通信信道或文件中,或者单独分布和存储的元数据携带。
正如对本领域的技术人员将是显而易见的,可以以硬件或软件实施本发明。
尽管本文已公开了48kHz的流式音频数据的分析,但本领域的技术人员将知道,音频数据可以在不同情况下以不同的采样率进行采样。具体地,压缩音频文件可以通常以32kHz进行采样。
音频数据和视频数据两者的分析一起给出了更加可靠的结果,但是可以单独使用所公开的音频数据和视频数据的分析的方法。具体地,在一些实施方式中,基于音频和视频比较结果的相似性给出总体置信度测量的音频和视频分析的结果的比较可是有利的。
如果进行重复比较,则可以提高签名之间比较的可靠性,并且例如在移动平均或其他IIR或FIR时间低通滤波处理中递归地组合连续比较的结果。
此外,在本发明的一些实施例中,还可以比较AV数据的其他特征。因此,例如,可以比较的其他系统参数为:视频标准;数字程序标识符的校验和;UMID(全球多媒体标识符)的存在和/或校验和;任何短码标签的存在和/或校验和;或者文本数据、子标题或‘限定标题’的存在。
Claims (34)
1.一种导出多个音频样本的签名特性的方法,包括以下步骤:
确定代表所述音频样本的音频签名数据;
确定形成感兴趣区域的所述音频签名数据的部分;以及
提供形成感兴趣区域的所述音频签名数据部分作为音频签名。
2.根据权利要求1所述的导出多个音频样本的签名特性的方法,其中,所提供的音频签名还包括标识所述音频签名数据内所述感兴趣区域的位置的位置数据。
3.根据权利要求1或2所述的导出签名的方法,其中,所述确定代表所述音频样本的音频签名数据的步骤包括以下步骤:
从所述音频样本分离出感兴趣的频域范围;以及
基于所分离出的感兴趣的频域范围的幅度的时域变化确定音频签名数据。
4.根据权利要求3所述的导出签名的方法,其中,音频样本值被整流,从而获得绝对幅度值。
5.根据权利要求3所述的导出签名的方法,其中,所述分离出感兴趣的频域范围的步骤包括以下步骤:通过低通滤波器对所述音频样本进行滤波,并且对经滤波的所述音频样本进行子采样。
6.根据权利要求3至5中任一项所述的导出签名的方法,其中,通过将每个音频样本或经滤波的音频样本与先前各个音频样本或经滤波的音频样本进行比较,来确定所述基于所述感兴趣的频域范围的时域变化确定音频签名数据的步骤。
7.根据权利要求1至6中任一项所述的导出签名的方法,其中,所述确定形成感兴趣区域的所述音频签名数据的部分的步骤包括以下步骤:确定所述音频签名数据具有最大熵的部分作为所述感兴趣区域。
8.根据权利要求1至7中任一项所述的导出签名的方法,其中,所述确定形成感兴趣区域的所述音频签名数据的部分的步骤偏向于选择所述音频签名数据的中心部分。
9.根据前述权利要求中任一项所述的从音频数据的两个信道导出音频签名的方法,其中,通过从代表两个以上音频信道的环绕声音频数据中得到的两个或多个音频信道的组合来导出所述两个信道。
10.根据前述权利要求中任一项所述的从音频数据中导出音频签名的方法,其中,描述由所述音频数据表示的瞬态干扰的元数据包括在所述音频签名中。
11.一种导出视频数据和相关联音频样本的多个字段或帧的签名特性的方法,包括以下步骤:
根据权利要求1至10中的一项确定音频签名;
根据视频字段或帧中的图像信息值确定所述视频字段或帧的空间分布数据;
由所述空间分布数据构成视频签名;以及
提供所述音频签名和所述视频签名作为音视频签名。
12.根据权利要求11所述的导出签名的方法,其中,从所述视频字段或帧的多个部分的平均图像信息值来获得所述空间分布数据。
13.根据权利要求11或12所述的导出签名的方法,还包括根据连续视频字段或帧中图像信息值之间的差确定视频字段或帧的运动分布数据的步骤;其中,由所述空间分布数据和所述运动分布数据构成所述视频签名。
14.根据权利要求13所述的导出签名的方法,其中,通过估计源自连续视频字段或帧的空间累计图像信息值之间的一个或多个差来确定视频字段或帧的所述运动分布数据。
15.一种导出视频数据的多个字段或帧的签名特性的方法,包括:
根据视频字段或帧中的图像信息值确定所述视频字段或帧的空间分布数据;以及
由所述空间分布数据构成签名。
16.根据权利要求15所述的导出签名的方法,其中,从所述视频字段或帧的多个部分的平均图像信息值中获得所述空间分布数据。
17.根据权利要求15或16所述的导出签名的方法,还包括根据连续视频字段或帧中图像信息值之间的差确定视频字段或帧的运动分布数据的步骤;其中,由所述空间分布数据和所述运动分布数据构成所述签名。
18.根据权利要求17所述的导出签名的方法,其中,通过估计源自连续视频字段或帧的空间累计图像信息值之间的一个或多个差来确定视频字段或帧的所述运动分布数据。
19.根据权利要求13、14、17或18中任一项所述的导出签名的方法,其中,为视频字段或帧中的每一个确定所述运动分布数据,所述运动分布数据构成连续的运动分布数据。
20.根据权利要求11至19中任一项所述的导出签名的方法,其中,所述视频字段或帧中的所选字段或帧的所述空间分布数据被用于构成不连续的空间分布数据。
21.根据权利要求11至20中任一项所述的导出包括视频图像的特性的签名的方法,其中,所述签名包括表征由于基于块的处理所引起的图像假象的元数据。
22.根据权利要求11至21中任一项所述的导出包括视频图像的特性的签名的方法,其中,所述视频签名源自视频图像内的矩形窗口,确定所述矩形窗口的大小并定位所述矩形窗口以排除所述视频图像的边缘。
23.根据权利要求22所述的方法,其中,确定所述矩形窗口的大小并定位所述矩形窗口,以排除所述图像内与已经附加至所述图像的一个或多个边缘的空白区域相邻的矩形区域,从而补偿预期显示设备的纵横比与所述图像的纵横比之间的差。
24.一种比较视频或音视频数据的方法,其中,在从第一视频或音视频序列的一个或多个字段或帧中导出的第一视频签名数据与在第二视频或音视频序列内的多个时间位置处导出的第二视频签名数据之间进行多次比较,建立视频签名数据的最佳匹配的时间位置。
25.根据权利要求24所述的方法,其中,处于最佳匹配位置的视频签名数据的相似度被用于导出所述第一视频或音视频数据序列和所述第二视频或音视频数据序列的相似性的测量。
26.根据权利要求24所述的方法,其中,所述最佳匹配的时间位置和与所述第一视频签名数据相关联的时间数据进行比较,以导出所述第一视频或音视频数据序列和所述第二视频或音视频数据序列之间的视频时间差的测量。
27.一种比较音频或音视频数据的方法,其中,在从第一音频或音视频序列的两个或多个音频样本中导出的第一音频签名数据与在第二音频或音视频序列内的多个时间位置处导出的第二音频签名数据之间进行多次比较,建立音频签名数据的最佳匹配的时间位置。
28.根据权利要求27所述的方法,其中,音频签名数据的相似度被用于导出所述第一音频或音视频数据序列和所述第二音频或音视频数据序列的相似性的测量。
29.根据权利要求28所述的方法,其中,所述最佳匹配的时间位置和与所述第一音频签名数据相关联的时间数据进行比较,以导出所述第一音频或音视频数据序列和所述第二音频或音视频数据序列之间的视频时间差的测量。
30.根据权利要求26或29所述的方法,其中,视频时间差的测量与音频时间差的测量进行比较,从而导出所述第一音视频数据序列和所述第二音视频数据序列之间的视频相对于音频延迟的差的测量。
31.一种计算机程序产品,包括适于实施根据前述权利要求中任一项所述的方法的代码。
32.一种装置,适于实施根据权利要求1至30中任一项所述的方法。
33.一种用于音视频数据的签名,包括:视频签名;以及包括音频签名数据和标识感兴趣区域的位置的偏移数据的音频签名。
34.根据权利要求33所述的用于音视频数据的签名,其中,所述视频签名包括运动分布和空间分布。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0803178.3 | 2008-02-21 | ||
GB0803178.3A GB2457694B (en) | 2008-02-21 | 2008-02-21 | Method of Deriving an Audio-Visual Signature |
PCT/GB2009/050172 WO2009104022A2 (en) | 2008-02-21 | 2009-02-20 | Audio visual signature, method of deriving a signature, and method of comparing audio-visual data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102084416A true CN102084416A (zh) | 2011-06-01 |
CN102084416B CN102084416B (zh) | 2014-06-04 |
Family
ID=39284324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980112996.2A Expired - Fee Related CN102084416B (zh) | 2008-02-21 | 2009-02-20 | 音视频签名、导出签名的方法以及比较音视频数据的方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8682651B2 (zh) |
EP (3) | EP2711926B1 (zh) |
CN (1) | CN102084416B (zh) |
GB (1) | GB2457694B (zh) |
WO (1) | WO2009104022A2 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104853244A (zh) * | 2014-02-17 | 2015-08-19 | 斯耐尔有限公司 | 用于管理音视频、音频或视频内容的方法和装置 |
WO2018121025A1 (zh) * | 2016-12-30 | 2018-07-05 | 华为技术有限公司 | 比较数据表的数据的方法和系统 |
CN115954012A (zh) * | 2023-03-03 | 2023-04-11 | 成都启英泰伦科技有限公司 | 一种周期性瞬态干扰事件检测方法 |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8108887B2 (en) | 2008-10-30 | 2012-01-31 | The Nielsen Company (Us), Llc | Methods and apparatus for identifying media content using temporal signal characteristics |
US10631068B2 (en) | 2008-11-26 | 2020-04-21 | Free Stream Media Corp. | Content exposure attribution based on renderings of related content across multiple devices |
US10567823B2 (en) | 2008-11-26 | 2020-02-18 | Free Stream Media Corp. | Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device |
US10419541B2 (en) | 2008-11-26 | 2019-09-17 | Free Stream Media Corp. | Remotely control devices over a network without authentication or registration |
US9026668B2 (en) | 2012-05-26 | 2015-05-05 | Free Stream Media Corp. | Real-time and retargeted advertising on multiple screens of a user watching television |
US10977693B2 (en) | 2008-11-26 | 2021-04-13 | Free Stream Media Corp. | Association of content identifier of audio-visual data with additional data through capture infrastructure |
US9386356B2 (en) | 2008-11-26 | 2016-07-05 | Free Stream Media Corp. | Targeting with television audience data across multiple screens |
US9986279B2 (en) | 2008-11-26 | 2018-05-29 | Free Stream Media Corp. | Discovery, access control, and communication with networked services |
US9154942B2 (en) | 2008-11-26 | 2015-10-06 | Free Stream Media Corp. | Zero configuration communication between a browser and a networked media device |
US9961388B2 (en) | 2008-11-26 | 2018-05-01 | David Harrison | Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements |
US8180891B1 (en) | 2008-11-26 | 2012-05-15 | Free Stream Media Corp. | Discovery, access control, and communication with networked services from within a security sandbox |
US10880340B2 (en) | 2008-11-26 | 2020-12-29 | Free Stream Media Corp. | Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device |
US10334324B2 (en) | 2008-11-26 | 2019-06-25 | Free Stream Media Corp. | Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device |
US9519772B2 (en) | 2008-11-26 | 2016-12-13 | Free Stream Media Corp. | Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device |
US8687839B2 (en) * | 2009-05-21 | 2014-04-01 | Digimarc Corporation | Robust signatures derived from local nonlinear filters |
US10949458B2 (en) | 2009-05-29 | 2021-03-16 | Inscape Data, Inc. | System and method for improving work load management in ACR television monitoring system |
US10375451B2 (en) | 2009-05-29 | 2019-08-06 | Inscape Data, Inc. | Detection of common media segments |
US9055309B2 (en) | 2009-05-29 | 2015-06-09 | Cognitive Networks, Inc. | Systems and methods for identifying video segments for displaying contextually relevant content |
US8595781B2 (en) | 2009-05-29 | 2013-11-26 | Cognitive Media Networks, Inc. | Methods for identifying video segments and displaying contextual targeted content on a connected television |
US10116972B2 (en) | 2009-05-29 | 2018-10-30 | Inscape Data, Inc. | Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device |
US9449090B2 (en) | 2009-05-29 | 2016-09-20 | Vizio Inscape Technologies, Llc | Systems and methods for addressing a media database using distance associative hashing |
GB2474281A (en) | 2009-10-09 | 2011-04-13 | Snell Ltd | Defining image features using local spatial maxima and minima |
EP2323046A1 (en) * | 2009-10-16 | 2011-05-18 | Telefónica, S.A. | Method for detecting audio and video copy in multimedia streams |
US8436939B2 (en) * | 2009-10-25 | 2013-05-07 | Tektronix, Inc. | AV delay measurement and correction via signature curves |
US8860883B2 (en) | 2009-11-30 | 2014-10-14 | Miranda Technologies Partnership | Method and apparatus for providing signatures of audio/video signals and for making use thereof |
GB2508115B (en) * | 2009-11-30 | 2014-08-27 | Miranda Technologies Inc | Method and apparatus for providing signatures of audio/video signals and for making use thereof |
WO2011090541A2 (en) * | 2009-12-29 | 2011-07-28 | Tv Interactive Systems, Inc. | Methods for displaying contextually targeted content on a connected television |
US8947595B1 (en) * | 2010-01-26 | 2015-02-03 | Google Inc. | Fingerprinting to match videos having varying aspect ratios |
US9838753B2 (en) | 2013-12-23 | 2017-12-05 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
US10192138B2 (en) | 2010-05-27 | 2019-01-29 | Inscape Data, Inc. | Systems and methods for reducing data density in large datasets |
KR20120072198A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 맞춤형 서비스 제공 시스템 및 방법 |
GB2490886B (en) | 2011-05-13 | 2017-07-05 | Snell Advanced Media Ltd | Video processing method and apparatus for use with a sequence of stereoscopic images |
US20120330665A1 (en) * | 2011-06-03 | 2012-12-27 | Labels That Talk, Ltd | Prescription label reader |
US9860604B2 (en) | 2011-11-23 | 2018-01-02 | Oath Inc. | Systems and methods for internet video delivery |
US8586847B2 (en) * | 2011-12-02 | 2013-11-19 | The Echo Nest Corporation | Musical fingerprinting based on onset intervals |
US10009706B2 (en) | 2011-12-07 | 2018-06-26 | Nokia Technologies Oy | Apparatus and method of audio stabilizing |
GB2499799B (en) * | 2012-02-28 | 2019-06-26 | Snell Advanced Media Ltd | Identifying points of interest in an image |
US9977992B2 (en) | 2012-02-28 | 2018-05-22 | Snell Advanced Media Limited | Identifying points of interest in an image |
US8681950B2 (en) * | 2012-03-28 | 2014-03-25 | Interactive Intelligence, Inc. | System and method for fingerprinting datasets |
US9064154B2 (en) * | 2012-06-26 | 2015-06-23 | Aol Inc. | Systems and methods for associating electronic content |
US9058385B2 (en) * | 2012-06-26 | 2015-06-16 | Aol Inc. | Systems and methods for identifying electronic content using video graphs |
US9971882B2 (en) * | 2012-09-24 | 2018-05-15 | Qatar Foundation | System and method for multimedia content protection on cloud infrastructures |
GB201219261D0 (en) * | 2012-10-26 | 2012-12-12 | Jaguar Cars | Vehicle access system and method |
US9955192B2 (en) | 2013-12-23 | 2018-04-24 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
FR3010606A1 (fr) * | 2013-12-27 | 2015-03-13 | Thomson Licensing | Procede de synchronisation de metadonnees avec un document audiovisuel en utilisant des parties de trames et dispositif de production de telles metadonnees |
KR20150112535A (ko) * | 2014-03-28 | 2015-10-07 | 한국전자통신연구원 | 비디오 대표 이미지 관리 장치 및 방법 |
CA2973740C (en) | 2015-01-30 | 2021-06-08 | Inscape Data, Inc. | Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device |
US9582244B2 (en) | 2015-04-01 | 2017-02-28 | Tribune Broadcasting Company, Llc | Using mute/non-mute transitions to output an alert indicating a functional state of a back-up audio-broadcast system |
US9531488B2 (en) * | 2015-04-01 | 2016-12-27 | Tribune Broadcasting Company, Llc | Using single-channel/multi-channel transitions to output an alert indicating a functional state of a back-up audio-broadcast system |
US9674475B2 (en) | 2015-04-01 | 2017-06-06 | Tribune Broadcasting Company, Llc | Using closed-captioning data to output an alert indicating a functional state of a back-up video-broadcast system |
US9621935B2 (en) * | 2015-04-01 | 2017-04-11 | Tribune Broadcasting Company, Llc | Using bitrate data to output an alert indicating a functional state of back-up media-broadcast system |
US9420277B1 (en) * | 2015-04-01 | 2016-08-16 | Tribune Broadcasting Company, Llc | Using scene-change transitions to output an alert indicating a functional state of a back-up video-broadcast system |
US9264744B1 (en) | 2015-04-01 | 2016-02-16 | Tribune Broadcasting Company, Llc | Using black-frame/non-black-frame transitions to output an alert indicating a functional state of a back-up video-broadcast system |
US9420348B1 (en) | 2015-04-01 | 2016-08-16 | Tribune Broadcasting Company, Llc | Using aspect-ratio transitions to output an alert indicating a functional state of a back up video-broadcast system |
WO2016168556A1 (en) | 2015-04-17 | 2016-10-20 | Vizio Inscape Technologies, Llc | Systems and methods for reducing data density in large datasets |
BR112018000801A2 (pt) | 2015-07-16 | 2018-09-04 | Inscape Data Inc | sistema, e método |
US10080062B2 (en) | 2015-07-16 | 2018-09-18 | Inscape Data, Inc. | Optimizing media fingerprint retention to improve system resource utilization |
MX2018000568A (es) | 2015-07-16 | 2018-04-24 | Inscape Data Inc | Prediccion de vistas futuras de segmentos de video para optimizar la utilizacion de recursos del sistema. |
MX2018000567A (es) | 2015-07-16 | 2018-04-24 | Inscape Data Inc | Deteccion de segmentos de medios comunes. |
US9836535B2 (en) * | 2015-08-25 | 2017-12-05 | TCL Research America Inc. | Method and system for content retrieval based on rate-coverage optimization |
KR20190134664A (ko) | 2017-04-06 | 2019-12-04 | 인스케이프 데이터, 인코포레이티드 | 미디어 시청 데이터를 사용하여 디바이스 맵의 정확도를 향상시키는 시스템 및 방법 |
US10552114B2 (en) * | 2017-05-31 | 2020-02-04 | International Business Machines Corporation | Auto-mute redundant devices in a conference room |
US10839225B2 (en) | 2018-07-11 | 2020-11-17 | The Nielsen Company (Us), Llc | Methods and apparatus to monitor a split screen media presentation |
US20230177216A1 (en) * | 2021-12-03 | 2023-06-08 | International Business Machines Corporation | Verification of authenticity of documents based on search of segment signatures thereof |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB806050A (en) | 1954-03-16 | 1958-12-17 | Ciba Ltd | Cupriferous dis-azo-dyestuffs of the benzthiazole series |
US4677466A (en) * | 1985-07-29 | 1987-06-30 | A. C. Nielsen Company | Broadcast program identification method and apparatus |
CA2196930C (en) * | 1997-02-06 | 2005-06-21 | Nael Hirzalla | Video sequence recognition |
US6469749B1 (en) * | 1999-10-13 | 2002-10-22 | Koninklijke Philips Electronics N.V. | Automatic signature-based spotting, learning and extracting of commercials and other video content |
US6963975B1 (en) * | 2000-08-11 | 2005-11-08 | Microsoft Corporation | System and method for audio fingerprinting |
EP1249090A1 (en) * | 2000-07-21 | 2002-10-16 | Koninklijke Philips Electronics N.V. | Multimedia monitoring by combining watermarking and characteristic signature of signal |
US7283954B2 (en) * | 2001-04-13 | 2007-10-16 | Dolby Laboratories Licensing Corporation | Comparing audio using characterizations based on auditory events |
US7461002B2 (en) * | 2001-04-13 | 2008-12-02 | Dolby Laboratories Licensing Corporation | Method for time aligning audio signals using characterizations based on auditory events |
MXPA03010751A (es) * | 2001-05-25 | 2005-03-07 | Dolby Lab Licensing Corp | Segmentacion de senales de audio en eventos auditivos. |
MXPA03010749A (es) | 2001-05-25 | 2004-07-01 | Dolby Lab Licensing Corp | Comparacion de audio usando caracterizaciones basadas en eventos auditivos. |
CN1315110C (zh) * | 2002-04-25 | 2007-05-09 | 兰德马克数字服务有限责任公司 | 坚固而且不变的音频图样匹配 |
US7817717B2 (en) * | 2002-06-18 | 2010-10-19 | Qualcomm Incorporated | Motion estimation techniques for video encoding |
WO2004002131A1 (en) * | 2002-06-24 | 2003-12-31 | Koninklijke Philips Electronics N.V. | Real-time signature embedding in video |
AU2003239735A1 (en) * | 2002-06-24 | 2004-01-06 | Koninklijke Philips Electronics N.V. | Embedding of image authentication signatures |
WO2004002159A1 (en) * | 2002-06-24 | 2003-12-31 | Koninklijke Philips Electronics N.V. | Robust signature for signal authentication |
US7287164B2 (en) * | 2002-09-12 | 2007-10-23 | International Business Machines Corporation | Method and system for encoding signatures to authenticate files |
US20040240562A1 (en) * | 2003-05-28 | 2004-12-02 | Microsoft Corporation | Process and system for identifying a position in video using content-based video timelines |
CA2540575C (en) * | 2003-09-12 | 2013-12-17 | Kevin Deng | Digital video signature apparatus and methods for use with video program identification systems |
WO2006014929A1 (en) | 2004-07-29 | 2006-02-09 | Idc, Llc | System and method for micro-electromechanical operating of an interferometric modulator |
US7486827B2 (en) * | 2005-01-21 | 2009-02-03 | Seiko Epson Corporation | Efficient and robust algorithm for video sequence matching |
GB2434496B (en) | 2005-07-14 | 2007-10-31 | Snell & Wilcox Ltd | Method and apparatus for analysing image data |
GB2428924B (en) | 2005-07-22 | 2007-10-31 | Snell & Wilcox Ltd | Method of and apparatus for image analysis |
WO2007014325A2 (en) * | 2005-07-27 | 2007-02-01 | Doug Carson & Associates, Inc. | Verifying provenance data associated with digital content |
MX2008002317A (es) * | 2005-08-16 | 2008-03-24 | Nielsen Media Res Inc | Metodos y aparatos de deteccion de encendido/apagado del dispositivo de visualizacion. |
GB2430102A (en) | 2005-09-09 | 2007-03-14 | Snell & Wilcox Ltd | Picture loss detection by comparison of plural correlation measures |
US7702127B2 (en) * | 2005-10-21 | 2010-04-20 | Microsoft Corporation | Video fingerprinting using complexity-regularized video watermarking by statistics quantization |
DE102005052151B3 (de) * | 2005-11-02 | 2007-05-31 | Francotyp-Postalia Gmbh | Vorrichtung zum Freispritzen eines Tintendruckkopfes |
JP5145939B2 (ja) * | 2005-12-08 | 2013-02-20 | 日本電気株式会社 | 楽曲における区画を抽出する区画自動抽出システム、区画自動抽出方法および区画自動抽出プログラム |
US7527996B2 (en) * | 2006-04-19 | 2009-05-05 | Qualcomm Mems Technologies, Inc. | Non-planar surface structures and process for microelectromechanical systems |
US7711239B2 (en) * | 2006-04-19 | 2010-05-04 | Qualcomm Mems Technologies, Inc. | Microelectromechanical device and method utilizing nanoparticles |
US7417784B2 (en) | 2006-04-19 | 2008-08-26 | Qualcomm Mems Technologies, Inc. | Microelectromechanical device and method utilizing a porous surface |
GB2437338A (en) | 2006-04-21 | 2007-10-24 | Snell & Wilcox Ltd | Detecting monochrome images from the skew of a statistical distribution of pixel values |
GB2437337A (en) | 2006-04-21 | 2007-10-24 | Snell & Wilcox Ltd | Measuring block artefacts in video data using an auto-correlation function |
JP2009542081A (ja) * | 2006-06-20 | 2009-11-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ信号のフィンガープリントの生成 |
CN101548294B (zh) * | 2006-11-30 | 2012-06-27 | 杜比实验室特许公司 | 提取视频和音频信号内容的特征以提供信号的可靠识别 |
EP1975938A1 (en) * | 2007-03-31 | 2008-10-01 | Sony Deutschland Gmbh | Method for determining a point in time within an audio signal |
CN101681373B (zh) * | 2007-05-17 | 2012-09-26 | 杜比实验室特许公司 | 推导对于画面修改和帧速率转换不敏感的视频签名 |
US8238669B2 (en) | 2007-08-22 | 2012-08-07 | Google Inc. | Detection and classification of matches between time-based media |
GB2458934A (en) | 2008-04-03 | 2009-10-07 | Snell & Wilcox Ltd | Detection of linear boundary between image border and picture regions based on pixel spatial gradients |
-
2008
- 2008-02-21 GB GB0803178.3A patent/GB2457694B/en not_active Expired - Fee Related
-
2009
- 2009-02-20 EP EP13182706.5A patent/EP2711926B1/en active Active
- 2009-02-20 US US12/918,572 patent/US8682651B2/en not_active Expired - Fee Related
- 2009-02-20 EP EP09712777A patent/EP2257943B1/en not_active Not-in-force
- 2009-02-20 WO PCT/GB2009/050172 patent/WO2009104022A2/en active Application Filing
- 2009-02-20 EP EP12156702.8A patent/EP2458584B1/en not_active Not-in-force
- 2009-02-20 CN CN200980112996.2A patent/CN102084416B/zh not_active Expired - Fee Related
-
2014
- 2014-02-26 US US14/190,325 patent/US9536545B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104853244A (zh) * | 2014-02-17 | 2015-08-19 | 斯耐尔有限公司 | 用于管理音视频、音频或视频内容的方法和装置 |
CN110443108A (zh) * | 2014-02-17 | 2019-11-12 | 草谷有限公司 | 用于管理音视频、音频或视频内容的方法和装置 |
WO2018121025A1 (zh) * | 2016-12-30 | 2018-07-05 | 华为技术有限公司 | 比较数据表的数据的方法和系统 |
CN115954012A (zh) * | 2023-03-03 | 2023-04-11 | 成都启英泰伦科技有限公司 | 一种周期性瞬态干扰事件检测方法 |
CN115954012B (zh) * | 2023-03-03 | 2023-05-09 | 成都启英泰伦科技有限公司 | 一种周期性瞬态干扰事件检测方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2458584B1 (en) | 2017-12-13 |
GB2457694B (en) | 2012-09-26 |
WO2009104022A3 (en) | 2009-10-15 |
US9536545B2 (en) | 2017-01-03 |
EP2257943B1 (en) | 2012-09-26 |
WO2009104022A2 (en) | 2009-08-27 |
US20110026763A1 (en) | 2011-02-03 |
GB2457694A (en) | 2009-08-26 |
GB0803178D0 (en) | 2008-04-02 |
US20140200885A1 (en) | 2014-07-17 |
EP2711926A2 (en) | 2014-03-26 |
EP2711926A3 (en) | 2016-12-07 |
EP2711926B1 (en) | 2021-08-11 |
EP2458584A2 (en) | 2012-05-30 |
EP2458584A3 (en) | 2012-08-08 |
US8682651B2 (en) | 2014-03-25 |
CN102084416B (zh) | 2014-06-04 |
EP2257943A2 (en) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102084416B (zh) | 音视频签名、导出签名的方法以及比较音视频数据的方法 | |
CN1957396B (zh) | 分析信息信号的设备和方法 | |
TWI399973B (zh) | 用於區別源自於本地裝置的信號與廣播信號之方法、裝置及儲存其指令之機器可讀取媒體 | |
US6928233B1 (en) | Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal | |
CN101548294A (zh) | 提取视频和音频信号内容的特征以提供信号的可靠识别 | |
WO2002052759A2 (en) | Apparatus and method for determining the programme to which a digital broadcast receiver is tuned | |
US10219033B2 (en) | Method and apparatus of managing visual content | |
EP3171593B1 (en) | Testing system and method | |
US8212939B2 (en) | Non-intrusive determination of an objective mean opinion score of a video sequence | |
US20070220265A1 (en) | Searching for a scaling factor for watermark detection | |
US8780209B2 (en) | Systems and methods for comparing media signals | |
CA3063376C (en) | Research data gathering | |
US8754947B2 (en) | Systems and methods for comparing media signals | |
JP2003131685A (ja) | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 | |
KR20060058703A (ko) | 블럭 아티팩트 검출 | |
GB2487499A (en) | Audio-Visual Signature, Method of Deriving a Signature, and Method of Comparing Audio-Visual Data | |
JP3222103B2 (ja) | 放送確認方法及びその装置 | |
JP2006293513A (ja) | 先行シーンの存在を利用した特定シーンの映像の抽出方法及び装置 | |
RU2652508C2 (ru) | Способ и система для идентификации группы кадров цифрового телевещания | |
CA2987772C (en) | Systems and methods for comparing media signals | |
Stojancic et al. | Interoperable AV SYNC Systems in SMPTE 22TV LIP SYNC AHG (Content-Fingerprinting Based Audio-Video Synchronization) | |
AU2001281320A1 (en) | Apparatus and method for determining the programme to which a digital broadcast receiver is tuned | |
CN103369364A (zh) | 使用多类型签名进行媒体监控 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: Hakuhoku County, England Patentee after: Grass Valley Ltd. Address before: Hakuhoku County, England Patentee before: Snell advanced media Ltd. Address after: Hakuhoku County, England Patentee after: Snell advanced media Ltd. Address before: Hakuhoku County, England Patentee before: SNELL & WILCOX LTD. |
|
CP01 | Change in the name or title of a patent holder | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140604 |