CN100485574C - 用于内容项目签名匹配的方法和装置 - Google Patents
用于内容项目签名匹配的方法和装置 Download PDFInfo
- Publication number
- CN100485574C CN100485574C CNB2005800170919A CN200580017091A CN100485574C CN 100485574 C CN100485574 C CN 100485574C CN B2005800170919 A CNB2005800170919 A CN B2005800170919A CN 200580017091 A CN200580017091 A CN 200580017091A CN 100485574 C CN100485574 C CN 100485574C
- Authority
- CN
- China
- Prior art keywords
- signature
- content item
- content
- match
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000004044 response Effects 0.000 claims abstract description 53
- 230000008878 coupling Effects 0.000 claims description 59
- 238000010168 coupling process Methods 0.000 claims description 59
- 238000005859 coupling reaction Methods 0.000 claims description 59
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000009826 distribution Methods 0.000 description 10
- 230000000295 complement effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4627—Rights management associated to the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
Abstract
一种用于内容项目签名匹配的装置,包括:包含多个内容项目签名的数据库(103)。似然处理器(105)为内容项目确定匹配似然指示,该匹配似然指示用来指示内容项目和未知签名之间匹配的似然。接口(111)接收与内容项目相关联的查询签名,作为响应,搜索处理器(113)为与查询签名匹配的签名搜索数据库(103)。搜索处理器(113)可操作来响应于多个内容项目的匹配似然指示对数据库进行搜索。特别地,数据库(103)可以按照匹配概率降低的顺序排列,并且,搜索处理器(113)按照这个顺序搜索数据库。因此,早期匹配的概率增加,且平均搜索时间减少。
Description
技术领域
本发明涉及用于内容项目签名匹配的方法和装置,尤其是但不限于在数据库中找到匹配的指纹。
背景技术
版权材料的非法发行剥夺了版权所有者对该材料的合法版权,并且为非法发行材料的提供者带来了收益,进而纵容了持续的非法发行。在例如通过因特网便于传递的情况下,需要被版权保护的内容材料,例如艺术绘制或是其它拥有有限发行权的材料容易被大规模的非法发行。
特别地,内容项目如音乐或视频项目,目前吸引了众多的非授权的发行和拷贝。这部分地归因于新技术所带来的对于发行和拷贝的日益增长的实用性和可行性。例如,用于存储和传输压缩音频文件的MP3格式,使得大规模的音频记录的发行变得可行。例如,一个歌曲的30或40兆字节的数字PCM(脉冲编码调制)音频记录可以压缩为3或4兆比特的MP3文件。宽带因特网连接的兴起刺激了更大文件例如MPEG视频的下载.MP3编码歌曲的非法拷贝可以随后通过软件或者硬件设备被再现,或者被解压缩并存储到可记录的CD上,用于在普通的CD播放机上重放.
为了限制和跟踪对版权保护内容材料的复制,人们提出了许多技术。安全数字音乐联盟(SDMI)和其他组织提倡使用“数字水印”来阻止未授权的拷贝。
数字水印可用于上述情况下的版权保护。然而,数字水印的应用并不局限于防止拷贝,还可以用于所谓的法庭跟踪(forensictracking),这里,水印被嵌入到比如通过电子内容传送系统发行的文件中,并被用于立即跟踪因特网上非法拷贝的内容.水印还可以用于监视广播站(例如商业);或者用于鉴定目的等等。
另一种适合检测和识别内容项目的技术是指纹技术。与水印技术不同的是,内容信号没有因为特殊水印模式的加入而被修改,而是,内容项目实际上唯一的特征被确定并被用来进行识别。
作为一个例子,可以将与大量内容项目有关的数据存储在数据库中,并且使用指纹技术来找到与给定未知内容项目相匹配的内容项目。这种方法通常包括以下步骤:
1.已知内容项目的指纹(典型地是短数字表示)基于内容项目被计算并且同相关联的元数据一起存储在数据库里。元数据例如可以与所述内容的识别性相对应.
2.一旦接受到一个查询(典型地是未知内容项目),指纹就被计算并与存储的指纹进行比较。
3.如果未知内容的指纹和数据库中的其中一个指纹足够接近地匹配,则响应于所述查询返回元数据。特别地,这种方法可以返回内容项目的识别性。
内容项目的识别在很多应用中都是有用的,包括内容项目跟踪和权利管理及决策.
对于很多应用,数据库将是一个同客户机(例如分散的监控站,手机,个人电脑等)进行通信以识别一些未知内容的大型中央服务器。然而,有些应用没有中央数据库。例如,硬盘视频记录器可能有一个带有本地存储的全部材料指纹的数据库。它可能使用指纹技术来防止复制记录。
指纹技术的一个至关重要问题是要在数据库中找到最优的匹配。一般来说这是一个难题,因为查询内容项目可能不会与存储指纹的内容项目完全一致。例如,压缩和噪声可能造成差别,这也会导致查询指纹与用于匹配内容项目的存储指纹不完全一致。因此,如果查询指纹与存储指纹之间的距离测度小于一个给定值,则通常就会确定一个匹配。确定距离测度可能相对复杂,过程的可靠性和准确性紧密地依赖于所使用的距离测度的特征。
此外,数据库可能十分庞大。例如,在美国的其中一个无线电频道上定期播放的所有音乐的数据库,将会包含一百万数量级歌曲的指纹.因此,最好将匹配过程的复杂度和持续时间最小化,并且不应该随着数据库规模的增大而急剧增加。
指纹的可缩放数据库结构的例子在专利合作条约专利申请W002/065782中给出。这里,作为增加的存储器需求的交换,搜索的计算复杂度被降低.更准确地说,索引被加入以允许快速接入确定候选匹配位置。尽管获得了搜索速度和复杂度的有效缩放,但是所需的存储器开销在许多应用中却是不利的或是不可接受的,比如在不使用中央数据库的应用中.
大部分的指纹或水印匹配算法仅仅从数据库开头开始,顺序地并且耗时地搜索整个数据库。一些技术可以用来推动或者加速这种搜索。特别地,修剪技术(pruning technique)可以用来加速算法。修剪技术用来指出数据库中不可能是充分接近于匹配的位置的大子集,因此允许搜索算法绕过这些位置。数据库中的多个录入(entry)是所谓的锚。对于数据库中的每一个录入,与锚的距离是可以预先计算的。当一个查询递交给数据库时,它与锚的距离就计算出来。如果锚和查询之间的距离足够大,那么锚附近的所有点也会有很长的距离因此不可能匹配。因此,锚附近的点就不需要被搜索并且可以被修剪掉。
尽管修剪的确提高了搜索速度,但是这样的改进还不够。另外,修剪增加了系统成本和复杂度,因为对每一个录入来说,到所有锚点的距离都需要被存储.
因此,一种用于内容项目签名匹配的改进系统将是有利的,尤其是一种能够使灵活性提高、复杂度减少和/或搜索持续时间减少的系统将是有益的。
发明内容
因此,本发明优选地是要单独或者同时减轻、减小或消除一个或多个上述提到的缺点。
根据本发明第一个方面,提供了一种用于内容项目签名匹配的装置,包括:包含多个内容项目签名的数据库;为多个内容项目的每一个确定匹配似然指示的装置,每一个内容项目的匹配似然指示用来指示内容项目和未知签名之间匹配的似然;用于接收与内容项目相关联的查询签名的装置;为与查询签名匹配的签名搜索数据库的搜索装置;其中,搜索装置可操作来响应于多个内容项目的匹配似然指示对数据库进行搜索.
本发明允许一种更加灵活的内容项目签名匹配算法,该算法考虑了对于存储在数据库中的签名发生匹配的似然。本发明会减少搜索时间,特别地,可以减少在查询签名匹配被确定之前的平均时间。复杂度也可以减少,特别地,本发明可以改进搜索速度而不需要存储额外信息,或者也不会导致存储器需求的增加。
匹配似然指示会特别指示一种概率,那就是查询签名与匹配似然指示相关联的内容项目签名相匹配的概率。更优选地,该搜索装置按照所存储的签名是合适匹配的概率降低的顺序搜索数据库。
数据库优选地可以存储多个内容项目的签名,但附加地或替换地,也可以存储内容项目本身.搜索装置在搜索期间可以为每一个内容项目确定签名,但是更优选地,该搜索装置利用预先计算过的存储签名。
内容项目签名特别地可以是适用于内容项目识别的特征或参数,例如内容项目的水印或指纹.
接收装置可以接收来自内部源或外部源的查询签名。
根据本发明的优选特征,该装置更进一步包括:响应匹配似然指示,为数据库中多个内容项目的签名进行排序的装置;搜索装置,可操作来根据多个内容项目的签名排序对数据库进行搜索。
特别地,数据库可以通过将签名按照匹配似然降低的顺序排序而被顺序排序。因此,搜索装置可以简单地按照匹配似然降低的顺序,通过在数据库中顺序移动来搜索所存储的签名。可替换地,数据库可以例如以树形结构排序.该特征可以提供一个合适的实现,尤其会使搜索方便从而也使项目内容签名匹配操作方便。
根据本发明的优选特征,确定匹配似然指示的装置可操作来响应于多个内容项目的至少一些内容项目的每个签名的先前匹配计数来确定匹配似然指示。
例如,对于所存储签名的先前匹配的增加数目,匹配似然指示可以指示更高的似然.特别地,匹配似然指示可以包含针对每一个内容项目的匹配计数,这将导致响应这个特性排序的搜索操作。搜索装置可能以签名的先前匹配数目的顺序来搜索数据库.这样,与许多先前查询相匹配的签名在没有导致许多先前匹配的签名之前而被搜索。该特征在一些实施例中对控制搜索特别有益,它可以提供一种改进的签名匹配操作,特别是可以缩短搜索时间。
根据本发明的优选特征,确定匹配似然指示的装置,可操作来响应于多个内容项目每个签名的数据库录入时间来确定匹配似然指示。
例如,对于从签名录入时间以后增加的持续时间,匹配似然指示可以指示出一种减小的似然。录入时间特别地可以是签名或者内容项目存储到(或更新到)数据库中的时间。特别地,匹配似然指示可以包含每一个内容项目的录入时间,这样就导致响应于这个特性排序的搜索操作。搜索装置可以按照录入时间的顺序来搜索数据库。这样,近期存储在数据库中的签名可以在不久前存储的签名之前被搜索到。这个特性在某些实施例中对控制搜索特别有益,它可以提供一种改进的签名匹配操作,特别是可以缩短搜索时间。
根据本发明的优选特征,确定匹配似然指示的装置,可操作来响应于多个内容项目的每个签名的先前匹配时间来确定匹配似然指示。
例如,对于从签名向查询提供匹配起增加的持续时间,匹配似然指示可以指示出一种减少的似然。先前匹配时间可以特别地是签名或者内容项目与一个查询相匹配的时间。特别地,匹配似然指示可以包含对于每一个内容项目的先前匹配时间,这样导致响应于这个特性排序的搜索操作。搜索装置可以以先前匹配时间的顺序搜索数据库。这样,最近提供匹配的签名可以在一段时间内没有提供匹配的签名之前被搜索到.这个特性在某些实施例中对控制搜索特别有益,它可以提供一种改进的签名匹配操作,特别是可以缩短搜索时间。
根据本发明的优选特征,确定匹配似然指示的装置,可操作来响应于与多个内容项目的每一个相关联的元数据来确定匹配似然指示。
例如,匹配似然指示可以指示一种取决于相关联的元数据的似然。元数据可以指示关于用来指示匹配概率的内容项目的更进一步的信息。例如,可以确定一种匹配似然指示,对于指示内容项目是音乐内容项目的元数据具有高似然;对于指示内容项目仅仅是语音内容项目的元数据具有低似然。在音乐签名匹配应用中,其中查询签名是音乐内容项目有高的概率,搜索装置可以在存储的仅有语音内容项目之前首先搜索存储的音乐内容项目.在一些实施例中,匹配似然指示可以响应查询做出解释。例如,相反,如果接收到的是仅语音签名,则匹配似然指示会认为对仅语音的内容项目有高的似然,而对于音乐内容项目有低的似然。
该特性在一些实施例中对控制搜索特别有益,它可以提供一种改进的签名匹配操作,特别是可以缩短搜索时间。
根据本发明的优选特征,确定匹配似然指示的装置,可操作来响应于与多个内容项目的每一个相关联的上下文信息来确定匹配似然指示。
例如,匹配似然指示可以指示一种取决于内容项目的上下文信息的似然。上下文信息可以与跟项目内容有关联的外部特性有关,例如发行装置、源、发行时间、传输格式、与其他内容项目的关联等等。
上下文信息可以提供与内容项目相关的附加信息,该内容项目可被用于指示匹配的概率。例如,可以确定一种匹配似然指示,它对于指示内容项目来自电视广播的上下文信息具有高的似然,它对于指示内容项目来自视频摄像机的上下文信息具有低的似然。在电视剪辑签名匹配应用中,其中对于电视剪辑来说查询签名有高的概率,搜索装置可以在所存储的视频摄像机内容项目之前,首先搜索所存储的电视内容项目。在一些实施例中,匹配似然指示可以响应于查询做出解释。
在一些实施例中该特性对于控制搜索很有利,它可以提供一种改进的签名匹配操作,特别是可以缩短搜索时间。
根据本发明的优选特征,确定匹配似然指示的装置,可操作来响应于与多个内容项目的每一个相关联的内容信息来确定匹配似然指示。
例如,匹配似然指示可以指示一种取决于内容项目的内容信息的似然。内容信息可以涉及与内容项目的内容相关联的特性,这些内容项目例如类型、色彩饱和度、场景改变速度等。
这样,内容信息可以指示与内容项目相关的附加信息,该内容项目可被用于指示匹配的概率.例如,可以确定一种匹配似然指示,它对于指示内容项目是卡通的内容信息具有高的似然,它对于指示内容项目是足球比赛的内容信息具有低的似然.在儿童的内容项目签名匹配应用中,对于卡通的查询签名有高的似然,因此搜索装置可以在存储的足球内容项目之前首先搜索存储的卡通内容项目。在一些实施例中,匹配似然指示可以响应于查询做出解释。
在一些实施例中,该特性对于控制搜索很有利,它可以提供一种改进的签名匹配操作,特别是可以缩短搜索时间。
根据本发明的优选特征,该装置进一步包括通过内容分析确定内容信息的装置。这将允许自动内容信息确定,也适合与现有的内容项目一起使用。它提供了一种确定内容信息的切实可行并且方便的方法。
根据本发明的优选特征,匹配似然指示包括多个子匹配似然指示,搜索装置可操作来响应于子匹配似然指示分层次地搜索数据库。
这将推动和加速搜索,也增加了正确匹配的概率。例如匹配似然指示可以包括以一部分或所有以上揭示的参数组合为形式的子匹配似然指示。
根据本发明的优选特征,匹配似然指示包括多个子匹配似然指示,搜索装置(113)可操作来响应于查询签名特性选择一个子匹配似然标准。
匹配似然指示可以包括每个内容项目的多个子匹配似然指示,搜索装置可操作来为每个内容项目选择子匹配似然指示。例如,选择可以响应于查询签名特性或与之相关联的内容项目。另外,匹配似然指示可以响应于查询签名的特性或与之相关联的内容项目而被解释。这将这将推动和加速搜索,也增加了正确匹配的概率。
优选地,查询签名就是内容项目指纹。优选地,多个内容项目的签名是多个内容项目的指纹。这样,本发明可以提供一种为查询指纹确定匹配指纹的改进装置。
根据本发明的优选特征,匹配签名是一种匹配指纹,搜索装置可操作来将匹配指纹确定为多个内容项目的指纹,这些内容项目相对于查询指纹的差别测度低于预定值。这就提供了一种能够提供快速可靠的内容项目指纹匹配性能的特别合适的实现方法。
根据本发明的优选特征,内容项目是一种视听的内容项目。这种视听的内容项目特别地是一种声音内容项目,例如音频剪辑或者歌曲,或者具有或不具有相关联音频的视频剪辑.
根据本发明的优选特征,接收装置包括用于接收内容项目和响应于内容项目确定内容项目签名的装置。它提供了一种实用的实现方法。
根据本发明的第二个方面,提供了一种在包含多个内容项目的签名的数据库中内容项目签名匹配的方法,该方法包括以下步骤:为多个内容项目的每一个确定匹配似然指示,每一个内容项目的匹配似然指示用来指示在内容项目和未知签名之间匹配的似然;接收与内容项目相关联的查询签名;响应于多个内容项目的签名的匹配似然指示,为与查询签名匹配的签名搜索数据库。
本发明的上述以及其他的方面、特点、优点将结合下述实施例被表明和阐述。
附图说明
本发明的实施例将参考附图仅仅通过实例来描述,其中,
图1示出了根据本发明实施例的用于内容项目签名匹配的装置。
具体实施方式
以下描述着重于本发明的实施例,它可适用于视听内容项目的指纹匹配,但应该理解,本发明不仅仅局限于这种应用,同时还可用于许多其他的应用,包括水印匹配。
图1示出了根据本发明实施例的用于内容项目签名匹配的装置。
装置101包括数据库103,它存储了用于多个视听内容项目的指纹。作为一个特别的例子,数据库可以存储用于大量音乐剪辑(像MP3编码歌曲)的指纹.在特定的实施例中,数据库存储了用于每个内容项目的指纹和相关联的数据。任何适合的相关联数据可以被存储,并且在特定的实施例中,数据库至少存储歌曲名、艺术家、长度、歌曲来自哪个专辑和相关联的专辑封面图.
该装置进一步包括一个似然处理器(likelihood processor)105,它在该实施例中可以接收新的内容项目,并为其在数据库103中存储信息。当似然处理器105接收到一个要在数据库103中存储的新内容项目时,该处理器就会为新的内容项目确定一个匹配似然指示。匹配似然指示是未知内容项目的指纹与新内容项目的指纹匹配的似然指示。用于确定匹配似然指示的任何适合标准或算法都可以被使用而不脱离本发明,很多可能的标准将会随后描述。
似然处理器105被耦合至排序处理器107。排序处理器107进一步被耦合至数据库103,并且可操作来响应于所述匹配似然指示对数据库103中多个内容项目的指纹进行排序。在特定的实施例中,排序处理器107从似然处理器105中接收新的指纹和匹配似然指示。在该实施例中,数据库103被排序为一个单独的录入顺序列表,该列表起始于具有最高匹配似然指示的指纹,终止于具有最低匹配似然指示的指纹。排序处理器107仅仅在数据库中找到新指纹的匹配似然指示所适合的位置,也就是说,在那里先前指纹的匹配似然指示高于或等于新指纹的匹配似然指示,随后指纹的匹配似然指示低于或等于当前指纹的匹配似然指示。另外,排序处理器107将接收到的与包括曲名、艺术家名字等的内容项目相关联的数据存储起来。
这样,当接收到内容项目时,数据库103被顺序列表中的指纹和相关数据所占居(populate),该顺序列表是以指纹与未知内容项目的指纹相匹配的概率降低的顺序来排列的.
应该理解,数据库103的排序优选地是结构的或者是逻辑的排序,它可以对应于或者可以不对应于在包含数据库的存储器中的物理排序.例如,如果数据库被存储在硬盘上,则新的指纹以及相关联的数据可以被存储在下一个可利用的存储器位置。在这种情况下,硬盘另外可以包括排序文件分配表,它指向了每个指纹的物理位置。在这个例子里,文件分配表从而可以响应于匹配似然指示由排序处理器107进行操作和排序,而指纹的物理位置可以反映其中内容项目被接收的顺序。
在该实施例中,装置101是中央装置,通过在数据库中找到匹配指纹可操作来识别内容项目.特别地,外部源109可以传送一个查询给装置101,作为响应,匹配指纹在数据库103里被确定,使得用于该内容项目的相关联数据被发送到外部源109.例如该装置可以和因特网连接,外部源可以是耦合到因特网的个人电脑。当内容项目在个人电脑里播放时,这就会确定内容的指纹并把它传送给装置101。响应这个查询,所述装置传送歌曲名、艺术家等数据给个人电脑,个人电脑再将其显示给用户。这样,在这个特定实例中,该装置运行为一个中央服务器,它可操作来响应从分布式客户所传送的查询以便向他们提供信息。
因此,装置101包括一个接口111,它从外部源109中接收查询指纹。查询指纹通过外部源从内容项目尤其是从歌曲中得到。接口111被耦合至搜索处理器113,并且查询指纹被馈送到搜索处理器113。
搜索处理器113进一步被耦合至数据库103,它可操作来搜索数据库103,以找到与查询指纹匹配的指纹.特别地,搜索处理器113可操作来响应于内容项目的匹配似然指示搜索数据库103。
在其中数据库是一个单独的顺序列表的实例中,搜索装置简单地顺序处理项目。这样,搜索处理器113首先把查询指纹和数据库103的第一个指纹比较。如果不匹配,则搜索处理器113继续把查询指纹和列表中的下一个指纹比较,以此类推。搜索处理器113一直进行,直到找到一个匹配或者数据库中所有的指纹都被评估过。
应该理解到,确定匹配是否发生的任何合适装置都可以被使用。典型地,不同的内容项目版本,比如歌曲,是不一样的。例如,不同的压缩设置或者噪声都可以导致外部源109和数据库103的内容项目之间的变化,尽管它们都是与同一首歌相关.因此,优选地,当查询指纹和存储指纹足够接近时就确定发生匹配,而不需要它们完全一致。优选地,对于二进制指纹可以利用合适的距离测度,比如汉明距离,对于非二进制指纹可以利用欧氏距离。当用于数据库103的指纹的这个距离测度小于给定的阈值时,匹配必然发生。
当找到匹配指纹时,搜索处理器113检索用于该指纹的相关数据,并且将它转发给接口111,接口111再把它传送给外部源109。
在该实施例中,搜索处理器113从而响应于存储指纹的匹配似然指示搜索整个数据库103,特别地,以存储指纹是合适匹配的概率减小的顺序进行搜索。
在传统的方法中,匹配指纹的搜索在匹配指纹找到之前会导致随机的间隔,这样,在找到足够接近的匹配之前必须要被搜索的数据库的期望片断大概是0.5。在本实施例中,由于最有可能的候选指纹在概率较低的候选指纹之前而被评价,这将大大降低,因此,匹配被找到之前的搜索时间将大大减小。另外,该优点的获得只需非常简单的执行,与其他快速搜索算法相比,装置复杂度和搜索算法都会降低。另外,本实施例允许低的存储器资源需求,尤其不会引起存储器需求的任何大量增加。
尽管上述描述集中在响应与排序数据库103中的简单搜索结合的匹配似然指示对数据库103进行排序方面,应该理解,这不是关键的,例如考虑到匹配似然指示的更复杂搜索算法可以替换地或附加地与非排序的数据库一起使用。
应该理解的是,尽管为了简单清楚的目的,所描述的实施例仅仅描述了确定用于新内容项目的匹配似然指示的过程,然而,该装置可以进一步可操作来,迭代地和/或动态地再评估存储指纹的匹配似然指示,因此和/或可以重新排序数据库和/或搜索算法。例如,指纹的匹配似然指示可以被更新,并且响应于指纹的匹配性能对数据库重新排序。
在一些实施例中,对匹配似然指示的解释取决于所接收到查询的特征。例如,种类的固定数目可被定义为匹配似然指示的可能数值。对每一个内容项目,它确定内容项目落入哪个定义的种类,那个内容项目的匹配似然指示相应地被设置。当接收到一个查询时,搜索处理器可以确定相关联的内容项目最可能属于哪个种类,由此可以确定该种类的匹配似然指示对应高的匹配概率,而其他的种类则对应较低的似然。因此,对应种类的指纹在其他种类之前而被搜索。
还应该理解,匹配似然指示在一些实施例中可以包含多个子指示。例如,匹配似然指示可以响应于多个不同的特征或设想而被产生。所有被确定的值作为复合匹配似然指示被存储。搜索处理器113可以对应一个特别的种类,选择一个或更多匹配似然指示,并用它们来对搜索进行排序。
当确定匹配似然指示时,或被作为匹配似然指示而使用时,需要考虑的参数和特征的例子在下文描述。所述例子可以共同使用,或者一起用于任意合适的组合或相互关系中,也可以与其它参数或特征一起可替换地或附加地使用。并且,以下所列项和例子互不相同,但是可以重叠并且包括共同的方面、特征、优点。
对于多个内容项目的每个指纹,匹配似然指示可以响应于先前的匹配计数而被确定.在许多实施例中,指纹匹配历史可以是对未来匹配的最好预测。因此,数据库中每个指纹可以有一个相关联的匹配计数器,它反映出在给定的先前时间间隔内每隔多久该指纹被找到最佳匹配(或至少是足够接近匹配)。不时地,排序处理器107可以重新排序数据库来反映匹配计数器的值。因此,搜索处理器113将根据成功匹配的顺序搜索整个数据库103,该顺序从已经匹配了多个先前查询的指纹开始,结束于仅仅匹配很少先前查询或者没有匹配先前查询的指纹。
匹配似然指示可以可替换地或者附加地响应于多个内容项目的每个指纹的数据库录入时间来确定.在一些应用中,内容项目具有有限的生命周期(在其它应用中,对商业事件、新闻剪辑、音乐剪辑来说是常有的情况)。因此,指纹输入数据库的时间和/或日期可被用于确定合适的匹配似然指示.特别地,录入数据库中的日期本身可以是合适的匹配似然指示,对于排序搜索和或数据库录入都是有用的。因此,当查询被提交时,以数据库中这些指纹的录入日期为顺序,将其与指纹比较,优选地从日期最近的开始,到最晚的内容项目结束。
对于多个内容项目的每一个指纹,匹配似然指示可以替换地或附加地响应先前的匹配时间而被确定。对于一些应用,对特定内容项目的兴趣是循环变化的。例如,在新闻剪辑的情况下:某现事件表示历史事件,这样将导致广播与该历史事件相关的老的新闻剪辑。在这种情况下,上个匹配的日期是用于确定匹配似然指示的合适特征,并且特别地,可用来直接作为排序数据库的匹配似然指示。例如,无论何时数据库中的指纹被找到是当前查询的最佳匹配时,它都将被移向数据库排序中的第一个位置.查询将根据数据库指纹的匹配日期的顺序来与数据库中的指纹进行匹配。因此,新的查询首先将与先前查询的匹配指纹比较。
匹配似然指示可以替换地或附加地响应于与多个内容项目的每一个相关联的元数据而被确定.在许多应用中,元数据可以和存储指纹的内容项目以及指纹查询本身一起被提交。元数据可以是重建内容项目不需要的辅助数据,但是它可以提供与内容项目相关联的附加信息。该附加信息适合于确定与查询指纹相匹配的内容项目的似然。例如,数据库的录入可以响应于元数据的参数而被排序,例如种类数据或类型数据(genre data)。当接收到查询时,相应的种类或类型被确定,并且与相同的种类或类型相关联的所存储的指纹首先被搜索。
匹配似然指示可以替换地或附加地响应于与每个内容项目相关联的上下文信息来确定。对于大多数应用,使用与内容相关的上下文信息对排序搜索来说是有力的特征.上下文信息是再生内容项目的表示信号所不需要的信息,但是提供涉及与内容项目相关联的条件的信息。例如,上下文信息可以涉及起始源、发行特征或者目标听众。作为一个特殊的例子,电视剪辑的上下文信息可以包含指示源信道、星期几(星期一,星期二等)、时间(早上、中午、晚上)等的信息。这些附加上下文信息对于确定与查询指纹相匹配的内容项目的似然来说可以是合适的。例如,数据库的录入可以响应于上下文信息的参数而被排序,当接收到查询时,具有同样特征的相应指纹将被首先搜索。在这个特殊的例子,来自同样源信道、日期和时间的指纹将首先被搜索.
匹配似然指示可以替换地或附加地响应于与多个内容项目的每个相关联的内容信息而被确定。
内容信息可以是与源剪辑的内容相关的附加信息。内容信息可以是内容项目所包括的附加或辅助信息,或者是通过内容分析从内容项目中确定。
一般地,内容分析基于对内容种类典型特征的检测。例如,通过具有高的绿色平均集中度和频繁的路边活动,视频内容项目被检测为与足球比赛有关。卡通通常以浓重的主色彩、高亮度和锐利的色彩转换为特征。
因此,视频编码参数可有益地被用于确定视频信号的内容。例如,DCT变换块中AC系数的高的相对值指示,变换块中可以包含锐利转换。这种转换对卡通是典型的,因此它可以作为指示当前内容是卡通的视频编码参数而被包括进来.一般地,大量参数被考虑,并且内容可以被确定为与确定的特征最相关的内容种类。这样,色饱和度和亮度将进一步被包括以确定当前内容是否是卡通。例如,如果视频编码数据表明高频DCT系数中具有高的色饱和度、高亮度、高能量集中度,以及较大相同或平坦图像区域,则内容分析算法可以确定当前内容为卡通。
另一个对内容分析有用的视频编码参数的例子是运动数据,例如运动矢量。例如,如果图片的一个区域包含很高的预测度而具有小的相关联运动矢量,则这可以表明图片这一区域是静止的,这样,这一区域的内容则很可能是覆盖文本或在屏幕上的标志(例如,电台标志)。
一般地,视频编码参数和非视频编码参数可被一起用于内容分析。例如,相关联声音轨迹的高动态度,强亮度和节奏特征可以指示当前内容是音乐视频.
内容分析的进一步信息对本领域技术人员来说是可以得到的。比如,文章“Content-Based Multimedia Indexing and Retrieval”,由C.Djeraba发表,IEEE Multimedia,2002年4月-6月,Institue ofElectrical and Electronic Engineers;“A Survey on Content-BasedRetrieval for Multimedia Databases”由A.Yoshika等人发表,IEEETransations on Knowledge and Data Engineering,vol.11,NO.1,1999年1月/2月,Institute of Electrical and Electronic Engineers;“Applications of Video-Content Analysis and Retrieval”由N.Dimitrova等人发表,IEEE Multimedia,2002年7月-9月,Instituteof Electrical and Electronic Engineers。这里包括的参考资料给内容分析提供了介绍。
这个附加内容信息对于确定内容项目与查询指纹匹配的似然是合适的。例如,数据库的录入可以响应内容信息的参数被排序,当检索到查询时,具有相同特征的相应指纹将被首先搜索。
在上述实施例中,装置101从外部源109接收查询指纹。然而,应该理解到,在一些实施例中该装置可以接收查询内容项目,且该装置响应于接收到的内容项目确定指纹。类似地,数据库中所存储的指纹可以由所述装置确定,或者从外部装置接收.
在上述实施例中,内容项目的指纹而不是内容项目自身被存储在数据库中。然而,在一些实施例中,内容项目可以附加地或替换地被存储在数据库中。例如,在一些实施例中,仅内容项目被存储在数据库中,当搜索整个数据库时搜索处理器可操作来为存储的内容项目产生指纹。这种实施例例如适合于对因技术或法律原因不能修改的现有内容项目数据库提供指纹匹配功能。
应该理解到,在一些实施例中,匹配似然指示可以包含多个子匹配似然指示。例如,匹配似然指示可以包含指示内容项目的类型的子匹配似然指示,指示传输时间的另一个子匹配似然指示,指示内容项目源的第三个子匹配似然指示等等。
在这种情况下,搜索处理器113优选地分层次搜索数据库。特别地,它首先为同类型的内容项目搜索数据库,然后搜索这些内容项目以找到具有相似传输时间的内容项目,最后基于内容项目源在这些里面选择。优选地,在该例中,数据库根据内容项目的类型,然后根据传输时间,最后根据内容项目源来排序,因此提供了一个快速搜索和匹配的过程。
本发明可以以任何合适的形式来实现,包括硬件、软件、软硬件结合或这些形式的任意组合。然而,优选地,本发明作为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件来实现。本发明实施例的元件和组件可以以任意合适的形式物理地、功能地和逻辑地实现。实际上该功能可以以单个单元、多个单元或其它功能单元的一部分来实现。同样,本发明可以在单个单元中实现,或者可以在不同单元和处理器之间物理地和功能地被分布。
本发明可以总结如下。用于内容项目签名匹配的装置包括数据库(103),它包含了多个内容项目的签名.似然处理器(105)为内容项目确定匹配似然指示,其中的匹配似然指示用来指示内容项目和未知签名之间匹配的似然。接口(111)接收与内容项目相关联的查询签名,并且响应搜索处理器(113),搜索数据库(103)以找到与查询签名匹配的签名。搜索处理器(113)可操作来响应于多个内容项目的匹配似然指示搜索数据库。特别地,数据库(103)可以按照匹配概率降低的顺序来排序,搜索处理器(113)以这个顺序搜索数据库。因此,早期匹配的概率增加,平均搜索时间也会缩短。
尽管本发明通过优选实施例而被描述,但是这并不意味着仅限于这里所描述的特定形式。而是,本发明的保护范围仅由所附权利要求所限制。在权利要求中,术语“包括”并不排除其它元件或步骤的出现。并且,尽管多个装置、元件或方法步骤被单独列出,但它们可以由例如一个单元或处理器完成。附加地,尽管单独的特征可以包含在不同权利要求里,但是它们可以有益地被组合起来,它们被包含在不同权利要求中并不意味着特征的组合是不可行的和/或有利的。并且,单数的引用并不排除多数。因此,涉及“一个”“第一”“第二”等等并不排除多数。权利要求中的参考符号仅仅是作为清楚的例子而被提供,无论如何不应被理解为对权利要求保护范围的限制。
Claims (17)
1.一种用于内容项目签名匹配的装置,包括:
包含多个内容项目的签名的数据库(103);
为多个内容项目的每一个确定匹配似然指示的装置(105),每一个内容项目的匹配似然指示用来指示内容项目和未知签名之间匹配的似然;
接收与内容项目相关联的查询签名的装置(111);
为与查询签名匹配的签名搜索数据库(103)的搜索装置(113);以及,
其中,搜索装置(113)可操作来响应于多个内容项目的匹配似然指示对数据库(103)进行搜索。
2.如权利要求1所述的装置,进一步包括:响应匹配似然指示,为数据库(103)中多个内容项目的签名进行排序的装置(107);并且,其中搜索装置(113)可操作来根据多个内容项目的签名排序对数据库(103)进行搜索。
3.如权利要求1所述的装置,其中,确定匹配似然指示的装置(105)可操作来响应于多个内容项目的至少一些内容项目的每个签名的先前匹配计数来确定匹配似然指示。
4.如权利要求1所述的装置,其中,确定匹配似然指示的装置(105)可操作来响应于多个内容项目的每个签名的数据库录入时间来确定匹配似然指示。
5.如权利要求1所述的装置,其中,确定匹配似然指示的装置(105)可操作来响应于多个内容项目的每个签名的先前匹配时间来确定匹配似然指示。
6.如权利要求1所述的装置,其中,确定匹配似然指示的装置(105)可操作来响应于与多个内容项目的每一个相关联的元数据来确定匹配似然指示。
7.如权利要求1所述的装置,其中,确定匹配似然指示的装置(105)可操作来响应于与多个内容项目的每一个相关联的上下文信息来确定匹配似然指示。
8.如权利要求1所述的装置,其中,确定匹配似然指示的装置(105)可操作来响应于与多个内容项目的每一个相关联的内容信息来确定匹配似然指示。
9.如权利要求8所述的装置,进一步包括通过内容分析确定内容信息的装置。
10.如权利要求1所述的装置,其中,匹配似然指示包括多个子匹配似然指示,并且搜索装置(113)可操作来响应于子匹配似然指示分层次地搜索数据库。
11.如权利要求1所述的装置,其中,匹配似然指示包括多个子匹配似然指示,并且搜索装置(113)可操作来响应于查询签名的特性选择一个子匹配似然标准。
12.如权利要求1所述的装置,其中,查询签名是内容项目指纹。
13.如权利要求12所述的装置,其中,匹配签名是一种匹配指纹,并且搜索装置(113)可操作来将匹配指纹确定为其相对于所述查询指纹的差别测度低于预定值的指纹。
14.如权利要求1所述的装置,其中,内容项目是视听的内容项目。
15.如权利要求1所述的装置,其中,接收装置(111)包括用于接收内容项目和响应于内容项目确定内容项目签名的装置。
16.一种用于在包含多个内容项目的签名的数据库(103)中内容项目签名匹配的方法,该方法包括以下步骤:
为多个内容项目的每一个确定匹配似然指示,每一个内容项目的匹配似然指示用来指示内容项目和未知签名之间匹配的似然;
接收与内容项目相关联的查询签名;
响应于多个内容项目的签名的匹配似然指示,为与查询签名匹配的签名搜索数据库(103)。
17.一种用于在包含多个内容项目的签名的数据库(103)中进行内容项目签名匹配的设备,该设备包括:
为多个内容项目的每一个确定匹配似然指示的装置,每一个内容项目的匹配似然指示用来指示内容项目和未知签名之间匹配的似然;
接收与内容项目相关联的查询签名的装置;
响应于多个内容项目的签名的匹配似然指示,为与查询签名匹配的签名搜索数据库(103)的装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04102377 | 2004-05-28 | ||
EP04102377.1 | 2004-05-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1957310A CN1957310A (zh) | 2007-05-02 |
CN100485574C true CN100485574C (zh) | 2009-05-06 |
Family
ID=34968583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005800170919A Expired - Fee Related CN100485574C (zh) | 2004-05-28 | 2005-05-23 | 用于内容项目签名匹配的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080270373A1 (zh) |
EP (1) | EP1756693A1 (zh) |
JP (1) | JP2008501273A (zh) |
KR (1) | KR20070020256A (zh) |
CN (1) | CN100485574C (zh) |
WO (1) | WO2005116793A1 (zh) |
Families Citing this family (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7930546B2 (en) * | 1996-05-16 | 2011-04-19 | Digimarc Corporation | Methods, systems, and sub-combinations useful in media identification |
US9678967B2 (en) | 2003-05-22 | 2017-06-13 | Callahan Cellular L.L.C. | Information source agent systems and methods for distributed data storage and management using content signatures |
US20070276823A1 (en) * | 2003-05-22 | 2007-11-29 | Bruce Borden | Data management systems and methods for distributed data storage and management using content signatures |
CN2792450Y (zh) * | 2005-02-18 | 2006-07-05 | 冯锦满 | 聚能保健仪 |
US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
US9191626B2 (en) | 2005-10-26 | 2015-11-17 | Cortica, Ltd. | System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto |
US9466068B2 (en) | 2005-10-26 | 2016-10-11 | Cortica, Ltd. | System and method for determining a pupillary response to a multimedia data element |
US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
US9396435B2 (en) | 2005-10-26 | 2016-07-19 | Cortica, Ltd. | System and method for identification of deviations from periodic behavior patterns in multimedia content |
US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
US9235557B2 (en) | 2005-10-26 | 2016-01-12 | Cortica, Ltd. | System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page |
US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
US10380164B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
US9031999B2 (en) | 2005-10-26 | 2015-05-12 | Cortica, Ltd. | System and methods for generation of a concept based database |
US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
US9489431B2 (en) | 2005-10-26 | 2016-11-08 | Cortica, Ltd. | System and method for distributed search-by-content |
US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
US9639532B2 (en) | 2005-10-26 | 2017-05-02 | Cortica, Ltd. | Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts |
US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
US20140093844A1 (en) * | 2005-10-26 | 2014-04-03 | Cortica, Ltd. | Method for identification of food ingredients in multimedia content |
US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
US9286623B2 (en) | 2005-10-26 | 2016-03-15 | Cortica, Ltd. | Method for determining an area within a multimedia content element over which an advertisement can be displayed |
US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
US9558449B2 (en) | 2005-10-26 | 2017-01-31 | Cortica, Ltd. | System and method for identifying a target area in a multimedia content element |
US9529984B2 (en) | 2005-10-26 | 2016-12-27 | Cortica, Ltd. | System and method for verification of user identification based on multimedia content elements |
US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
US8266185B2 (en) | 2005-10-26 | 2012-09-11 | Cortica Ltd. | System and methods thereof for generation of searchable structures respective of multimedia data content |
US9330189B2 (en) | 2005-10-26 | 2016-05-03 | Cortica, Ltd. | System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item |
US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
US9256668B2 (en) | 2005-10-26 | 2016-02-09 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
US10733326B2 (en) * | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
US8275681B2 (en) | 2007-06-12 | 2012-09-25 | Media Forum, Inc. | Desktop extension for readily-sharable and accessible media playlist and media |
EP2009638A1 (en) * | 2007-06-28 | 2008-12-31 | THOMSON Licensing | Video copy prevention if the difference betweeen the fingerprints before and after its modification is above a threshold |
US8447032B1 (en) | 2007-08-22 | 2013-05-21 | Google Inc. | Generation of min-hash signatures |
US8238669B2 (en) * | 2007-08-22 | 2012-08-07 | Google Inc. | Detection and classification of matches between time-based media |
KR100927230B1 (ko) * | 2007-12-17 | 2009-11-16 | 한국전자통신연구원 | 시그니처 최적화 장치 및 방법 |
US8312023B2 (en) * | 2007-12-21 | 2012-11-13 | Georgetown University | Automated forensic document signatures |
US8280905B2 (en) * | 2007-12-21 | 2012-10-02 | Georgetown University | Automated forensic document signatures |
US9088578B2 (en) * | 2008-01-11 | 2015-07-21 | International Business Machines Corporation | Eliminating redundant notifications to SIP/SIMPLE subscribers |
GB2465141B (en) | 2008-10-31 | 2014-01-22 | Media Instr Sa | Simulcast resolution in content matching systems |
US20120060116A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Content signaturing user interface |
US8984577B2 (en) | 2010-09-08 | 2015-03-17 | Microsoft Technology Licensing, Llc | Content signaturing |
US8539546B2 (en) * | 2010-10-22 | 2013-09-17 | Hitachi, Ltd. | Security monitoring apparatus, security monitoring method, and security monitoring program based on a security policy |
US9141676B2 (en) * | 2013-12-02 | 2015-09-22 | Rakuten Usa, Inc. | Systems and methods of modeling object networks |
US9838494B1 (en) * | 2014-06-24 | 2017-12-05 | Amazon Technologies, Inc. | Reducing retrieval times for compressed objects |
US20160005410A1 (en) * | 2014-07-07 | 2016-01-07 | Serguei Parilov | System, apparatus, and method for audio fingerprinting and database searching for audio identification |
WO2016049194A1 (en) * | 2014-09-23 | 2016-03-31 | Huawei Technologies Co., Ltd. | Ownership identification, signaling, and handling of content components in streaming media |
US10509824B1 (en) * | 2014-12-01 | 2019-12-17 | The Nielsen Company (Us), Llc | Automatic content recognition search optimization |
US9900636B2 (en) | 2015-08-14 | 2018-02-20 | The Nielsen Company (Us), Llc | Reducing signature matching uncertainty in media monitoring systems |
US9836535B2 (en) * | 2015-08-25 | 2017-12-05 | TCL Research America Inc. | Method and system for content retrieval based on rate-coverage optimization |
US9848214B2 (en) | 2015-10-01 | 2017-12-19 | Sorenson Media, Inc. | Sequentially overlaying media content |
US11195043B2 (en) | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
US11037015B2 (en) | 2015-12-15 | 2021-06-15 | Cortica Ltd. | Identification of key points in multimedia data elements |
US9924222B2 (en) * | 2016-02-29 | 2018-03-20 | Gracenote, Inc. | Media channel identification with multi-match detection and disambiguation based on location |
FR3059801B1 (fr) * | 2016-12-07 | 2021-11-26 | Lamark | Procede d’enregistrement d’un contenu multimedia, procede de detection d’une marque au sein d’un contenu multimedia, dispositifs et programme d’ordinateurs correspondants |
CN107071577A (zh) * | 2017-04-24 | 2017-08-18 | 安徽森度科技有限公司 | 一种视频传送签名方法 |
US9936230B1 (en) * | 2017-05-10 | 2018-04-03 | Google Llc | Methods, systems, and media for transforming fingerprints to detect unauthorized media content items |
US11760387B2 (en) | 2017-07-05 | 2023-09-19 | AutoBrains Technologies Ltd. | Driving policies determination |
US11899707B2 (en) | 2017-07-09 | 2024-02-13 | Cortica Ltd. | Driving policies determination |
US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
US11700356B2 (en) | 2018-10-26 | 2023-07-11 | AutoBrains Technologies Ltd. | Control transfer of a vehicle |
US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
US11488290B2 (en) | 2019-03-31 | 2022-11-01 | Cortica Ltd. | Hybrid representation of a media unit |
US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
US10789527B1 (en) | 2019-03-31 | 2020-09-29 | Cortica Ltd. | Method for object detection using shallow neural networks |
US11537690B2 (en) * | 2019-05-07 | 2022-12-27 | The Nielsen Company (Us), Llc | End-point media watermarking |
US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4677466A (en) * | 1985-07-29 | 1987-06-30 | A. C. Nielsen Company | Broadcast program identification method and apparatus |
JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
US7289643B2 (en) * | 2000-12-21 | 2007-10-30 | Digimarc Corporation | Method, apparatus and programs for generating and utilizing content signatures |
US6374260B1 (en) * | 1996-05-24 | 2002-04-16 | Magnifi, Inc. | Method and apparatus for uploading, indexing, analyzing, and searching media content |
US6553404B2 (en) * | 1997-08-08 | 2003-04-22 | Prn Corporation | Digital system |
JP3648101B2 (ja) * | 1999-09-09 | 2005-05-18 | 日本電信電話株式会社 | コンテンツ不正利用探索装置およびコンテンツ不正利用探索方法 |
US8055899B2 (en) * | 2000-12-18 | 2011-11-08 | Digimarc Corporation | Systems and methods using digital watermarking and identifier extraction to provide promotional opportunities |
CA2438998C (en) * | 2001-02-20 | 2011-08-23 | Caron S. Ellis | Multiple radio signal processing and storing method and apparatus |
US7363278B2 (en) * | 2001-04-05 | 2008-04-22 | Audible Magic Corporation | Copyright detection and protection system and method |
US7283954B2 (en) * | 2001-04-13 | 2007-10-16 | Dolby Laboratories Licensing Corporation | Comparing audio using characterizations based on auditory events |
US7203692B2 (en) * | 2001-07-16 | 2007-04-10 | Sony Corporation | Transcoding between content data and description data |
US7421587B2 (en) * | 2001-07-26 | 2008-09-02 | Mcafee, Inc. | Detecting computer programs within packed computer files |
US6988093B2 (en) * | 2001-10-12 | 2006-01-17 | Commissariat A L'energie Atomique | Process for indexing, storage and comparison of multimedia documents |
JP2005517211A (ja) * | 2002-02-05 | 2005-06-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 指紋の効率的格納 |
US8130746B2 (en) * | 2004-07-28 | 2012-03-06 | Audible Magic Corporation | System for distributing decoy content in a peer to peer network |
-
2005
- 2005-05-23 KR KR1020067024837A patent/KR20070020256A/ko not_active Application Discontinuation
- 2005-05-23 EP EP05742462A patent/EP1756693A1/en not_active Withdrawn
- 2005-05-23 WO PCT/IB2005/051673 patent/WO2005116793A1/en not_active Application Discontinuation
- 2005-05-23 CN CNB2005800170919A patent/CN100485574C/zh not_active Expired - Fee Related
- 2005-05-23 JP JP2007514261A patent/JP2008501273A/ja active Pending
- 2005-05-23 US US11/569,199 patent/US20080270373A1/en not_active Abandoned
Non-Patent Citations (4)
Title |
---|
A Highly Robust Audio Fingerprinting system. Jaap Haitsma,Ton Kalker.IRCAM. 2002 |
A Highly Robust Audio Fingerprinting system. Jaap Haitsma,Ton Kalker.IRCAM. 2002 * |
多媒体信息检索的有效性度量方法研究. 朱爱红,李连.新世纪图书馆,第5期. 2003 |
多媒体信息检索的有效性度量方法研究. 朱爱红,李连.新世纪图书馆,第5期. 2003 * |
Also Published As
Publication number | Publication date |
---|---|
WO2005116793A1 (en) | 2005-12-08 |
JP2008501273A (ja) | 2008-01-17 |
CN1957310A (zh) | 2007-05-02 |
EP1756693A1 (en) | 2007-02-28 |
US20080270373A1 (en) | 2008-10-30 |
KR20070020256A (ko) | 2007-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100485574C (zh) | 用于内容项目签名匹配的方法和装置 | |
US11450109B2 (en) | Systems and methods for generating bookmark video fingerprint | |
CN100409236C (zh) | 流式视频书签 | |
US9646007B2 (en) | Distributed and tiered architecture for content search and content monitoring | |
CN101821734B (zh) | 时基媒体之间的匹配的检测和分类 | |
JP4398242B2 (ja) | 録音の多段階識別方法 | |
Wei et al. | Frame fusion for video copy detection | |
EP1474760B1 (en) | Fast hash-based multimedia object metadata retrieval | |
CN105144723B (zh) | 使曲集的音频轨道与视频内容相关联 | |
EP2266063A1 (en) | Distributed media fingerprint repositories | |
CN1771498A (zh) | 将内容项进行分组的方法和设备 | |
US20160085795A1 (en) | Grouping equivalent content items |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090506 Termination date: 20120523 |