CN102165439A - 将信息与媒体内容的一部分相关联 - Google Patents

将信息与媒体内容的一部分相关联 Download PDF

Info

Publication number
CN102165439A
CN102165439A CN2008801050848A CN200880105084A CN102165439A CN 102165439 A CN102165439 A CN 102165439A CN 2008801050848 A CN2008801050848 A CN 2008801050848A CN 200880105084 A CN200880105084 A CN 200880105084A CN 102165439 A CN102165439 A CN 102165439A
Authority
CN
China
Prior art keywords
media content
content
media
information
fingerprints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2008801050848A
Other languages
English (en)
Inventor
菲利普·贝尔诺斯基
克劳斯·鲍尔
杰克·布塞尔
吉多·沃尔托利纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102165439A publication Critical patent/CN102165439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/748—Hypervideo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0247—Calculate past, present or future revenues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Abstract

从媒体内容的一部分中获取媒体指纹。基于所获取的媒体指纹将信息与媒体内容部分相关联。当链接至相关联的信息时，相关联的内容随着媒体内容部分被呈现。媒体指纹包括媒体内容部分的唯一表示，该唯一表示是从媒体内容部分的特性成分中获取的。媒体内容可以包括内容的原始实例或者原始内容的衍生实例。

Description

将信息与媒体内容的一部分相关联
技术领域
本发明一般地涉及媒体。更具体地，本发明的实施例涉及将信息与媒体内容的一部分相关联。
背景技术
音频和视频媒体构成了现代生活基本上普遍存在的特征。多媒体内容(诸如大多数现代电影)包括不止一种媒体，诸如其视频内容和音频音轨。几乎每种现代企业和各行各业的个人都以范围广泛的既独特又相关的方式使用音频和视频媒体内容。娱乐、商业和广告、教育、指导和培训、计算和网络、广播以及企业与电信只是音频和视频媒体内容找到普遍应用的现代活动的小小采样。
音频媒体包括记录在单独的光盘(CD)的音乐、演讲和声音或者通过网络流式化为服务器和客户计算机之间的数字文件或者以模拟和数字电磁信号传输的其他格式。视频媒体的实例包括电影和其他记录的表演、呈现和动画、以及其一部分(有时称为剪辑)。在上班途中找到从在膝上型计算机上播放的数字多用途光盘(DVD)看电影的用户已变得如同在家庭娱乐系统或者在剧院中一般熟悉。流行乐队的音乐会在互联网上流动并作为音频而被用户欣赏和/或作为网上直播的表演而被用户观看。数字音频文件的非常便携轻便、小的外形格局、低成本播放器已经获得广泛的欢迎。现在基本上已经普遍存在的蜂窝式电话和个人数字助理(PDA)以及手持计算机都具有多功能。不只是电信设备，现代蜂窝式电话也能访问互联网和来自互联网的流式连接音频和视频内容，并且找到参与网络视频游戏的游戏热衷者和在网上观看体育赛事的体育迷也不再是不同寻常。
作为广泛普及和日益增长的应用的结果，存在巨量的音频和媒体内容。考虑到存在十足的数量和各种音频和视频媒体内容以及内容随着时间的膨胀式增长，标识内容的能力具有价值。媒体指纹构成了一种标识媒体内容的技术。
媒体指纹是媒体内容的唯一标识符，媒体指纹是从媒体内容中获取、提取或者产生的。词汇“指纹”在人类唯一地可标识(例如，在法医学上可通过他们的指纹)的意义上巧妙地用来指称这些媒体内容标识符的唯一性。尽管类似于签名，媒体指纹可能更密切和可标识地对应于内容。音频和视频媒体都可以使用对应于每种媒体的媒体指纹来标识。
音频媒体可以用声学指纹来标识。声学指纹从特定的音频波形生成作为唯一地对应于音频波形的代码。一旦生成声学指纹，生成该指纹的对应波形此后可以通过引用它的指纹来标识。声学指纹可以存储在例如数据库中。所存储的声学指纹可以被访问以标识、分类或者另外地筛分它将对比的音频采样。因此，声学指纹在以下方面是有用的：标识用户正播放的所记录的、流式化的或者另外传输的音频媒体或音乐，管理声音库，对广播、网络活动和广告进行监控，以及根据和视频内容相关联的音频内容(诸如音轨)来标识视频内容(诸如电影)。
声学指纹的可靠性涉及特异性，凭借该特异性音频指纹可标识地与特定的音频波形相对应。一些音频指纹提供的标识如此精确以致于可以依赖它们来标识同一音乐的多个单独演奏。而且，一些声学指纹基于音频内容如同其由人体心理声学系统所感受到的那样。因而这样牢固可靠的音频指纹使得音频内容可以在对音频内容进行压缩、解压缩、代码转换及基于感知的音频编解码的其他改变之后仍被标识；即使编解码包含了有损压缩(因而这可能易于劣化音频内容的质量)也可以。类似于通过与声学指纹进行比较来标识音频媒体内容的是利用数字视频指纹来标识视频媒体的能力。
视频指纹是从视频指纹所对应的视频内容中生成的。访问和分析视频信息序列，例如，视频流或者剪辑。标识并从中获取视频序列的成分特性。特性成分可以包括亮度、色度、运动描述符和/或其他可以被人类心理视觉系统所感知的特征。获取的成分被压缩成易于存储和检索的格式。
视频指纹是使用相对有损压缩技术来生成的，这使得与视频指纹所对应的视频内容相比，指纹数据量较小。因而，根据原始视频内容所对应的视频指纹来重建原始的视频内容通常是既不实际也不可行的。因而，如此处所用，视频指纹指的是原始视频内容文件的相对低比特率的重现。不过，存储和访问视频指纹因此更高效而经济。
可以访问所存储的视频指纹用于压缩成视频序列的采样，该采样允许精确地标识序列中的视频内容。视频指纹因此在用户观看内容时对精确标识视频内容、以及可信地管理版权、和确认授权、和探测未授权、存储内容的版本和实例、流化或者其他用途方面有用。而且，利用许多声学指纹，视频指纹可凭感知编码。因此，在对视频序列的内容做压缩、解压缩、代码转换及基于感知的视频编解码的其他改变之后仍可以精确地通过和视频指纹对比来标识视频序列的内容；即使编解码器包含了有损压缩(因而这可能易于劣化视频内容的质量)也可以。
在概念上、商业上或者另外地以某些方式，音频和视频媒体内容可以与内容的单独而清楚的实例相关。与音频和视频内容相关的内容可以包括，但不限于其他音频、视频或者多媒体内容。例如，在某种概念方式上，某首歌可以与特定的电影相关。其他实例可以是与一些商业环境中的某演讲、讲话或者音乐片段相关的文本文件或计算机图形。然而，确认一些和特定的媒体内容相关的内容的存在可能并不容易，更不用说是访问与媒体内容相关联的相关的内容。
这部分描述的方法是可执行的方法，但未必是先前曾想到或者执行过的方法。因此，除非另有指明，不应该仅通过它们被包括在本部分就认为本部分描述的任何方法被限定为现有技术。同样地，被标识为和一种或多种方法相关的问题也不应该基于本部分被认为已经在任何现有技术中被确认，除非另有指明。
附图说明
在附图的各个图中，通过实例的方式而限制的方式说明本发明，图中相同的附图标记表示相同的元件，其中：
图1示出了根据本发明的可行实施例的示例性过程的流程图；
图2示出了根据本发明的可行实施例的示例性系统；
图3示出了根据本发明的可行实施例的示例性方法的流程图；
图4示出了根据本发明的可行实施例的另一示例性过程的流程图；以及
图5示出了利用其可以实现本发明的可行实施例的示例性计算机系统平台。
具体实施方式
此处描述将信息和媒体内容的一部分相关联。在以下的描述中，为了进行解释，阐述了许多具体细节以提供对本发明的透彻理解。不过，显然本发明没有这些具体的细节也可以实施。在其他实例中，没有详尽地描述熟知的结构和设备，以避免对本发明的不必要的封闭、模糊或者困惑。
此处按照以下概要描述示例性实施例：
1.0总览
2.0示例性过程
3.0示例性系统
4.0示例性方法
5.0示例性计算机系统平台
6.0大纲摘要
7.0等价物、扩展、替换以及杂项
1.0总览
此处描述的实施例涉及将信息和媒体内容的一部分相关联。从媒体内容的一部分中获取媒体指纹。基于所获取的媒体指纹将信息和该媒体内容部分相关联。一旦链接至相关联的信息，相关联的信息内容随着媒体内容部分而被呈现。如此处所用，词汇“相关联的信息”、“相关联的信息内容”以及“相关联的内容”基本上可以同义使用，并且词汇“辅助信息”、“辅助相关联的信息”以及“辅助内容”基本上可以指相关联的信息。
如此处所用，词汇“媒体(medium)”(复数：“媒体(media)”)可以指用于数据和其他信息的存储体或者移动容器。如此处所用，词汇“多媒体”可以指以多种形式包含信息的媒体。多媒体信息文件可以包括，例如，音频、视频、图像、图形、文本、动画和/或其他信息，及其各种组合。如此处所用，词汇“相关联的信息”可以指以某种方式与信息媒体内容相关的信息。相关联的信息可以包括，例如，辅助内容。
如此处所用，词汇“媒体指纹”可以指媒体内容文件的再现，媒体内容文件是从其特性成分中获取或者提取的。媒体指纹是从其所对应的媒体内容中获取(例如，提取、生成等等)的。如此处所用，词汇“声学指纹”可以指可以以特性的某种程度与音频媒体相关联的媒体指纹(尽管声学指纹也可以和其他媒体相关联)。如此处所用，词汇“视频指纹”可以指可以以特性的某种程度与视频媒体相关联的媒体指纹(尽管视频指纹也可以和其他媒体相关联)。此处在可行的实施例中使用的媒体指纹可以对应于音频、视频、图像、图形、文本、动画和/或其他媒体信息内容，和/或其各种组合，并且除了可以以特性的某种程度与之相关联的媒体之外还可以指其他媒体。此处所描述的媒体指纹基本上可以和美国临时专利申请60/969,543，61/026,446以及PCT/US2008/005588的描述相一致，其如同完全在此阐述一样通过引用合并于此以用于全部目的。
声学指纹，例如，可以包括唯一代码，该唯一代码是利用数字信号处理技术从包括音频媒体内容的音频波形生成的。此外，例如，视频指纹可以包括唯一数字视频文件，该数字视频文件的成分是从视频内容的特性成分中获取(例如，生成、写出、提取和/或压缩)的。所获取的可以被压缩以形成对应于其的视频指纹的视频内容的特性成分可以包括，但不限于，亮度值、色度值、运动估计、预测和补偿值等。因此，尽管此处描述的媒体指纹代表从其获取媒体指纹的媒体内容，它们并不包括可以和媒体内容相关联(例如，添加到或者和它们一起)的元数据或者其他标签并(例如，在此处描述的目的和环境下)不与该元数据或者其他标签混淆。媒体指纹可以以比由其获取该媒体指纹的媒体内容更低的比特率传输。因此此处所用的词汇“获取”、“生成”、“写出”、“提取”以及“压缩”等可以指从媒体内容部分获取媒体指纹。因此这些词汇以及类似词汇可以指媒体指纹和媒体指纹的源媒体内容或与媒体指纹相关联的媒体内容的关系。在可行的实施例中，媒体内容部分是媒体指纹的源，并且媒体指纹基本上包括了媒体内容的唯一成分。例如，视频指纹可以从(例如，包括至少一部分)有与视频内容的帧中的色度和/或亮度相关的值中获取。视频指纹也可以(或者可替换地)包括与视频帧中的运动估计、预测或者补偿相关的值，诸如运动向量以及类似的与运动相关的描述。因此媒体指纹可以用作唯一地代表、标识、引用或者参考从其获取媒体指纹的媒体内容。与之相伴地，可以理解，此处的这些词汇以及类似词汇可以被理解为强调媒体指纹区别于元数据、标签以及其他描述符(为了标记或者描述目的，它们可以被添加到内容中并在以后从内容中提取出来)。在与获取的媒体内容相关的环境中，词汇“获取的”或“获取”还可以和可以代表或者包括不同于媒体内容的原始实例的媒体内容相关。
如此处所用，与多媒体或者其他媒体内容文件相关的词汇“辅助内容”可以指被媒体内容文件的某部分索引的信息段。辅助信息本身可以不一定和多媒体本身的任何部分相同或者甚至相近。例如，特定视频文件的某部分可以索引某位置(例如，某一天或者某个时间的纽约市)处的温度。纽约市温度因此成为视频的那部分的辅助内容。在另一实例中，给定视频文件的某部分可以索引特定的汽车制造商的某模型以及某模型的制造年份。
当创建原始媒体文件(例如，整部电影)时可以完成索引。然而，可行的实施例提供了一种机制，该机制使得能够在视频段呈现时(例如，当电影播放时)将视频段链接至辅助内容。可行的实施例在只有部分多媒体文件被播放、在不同设备上呈现、以不同长度和格式和/或在视频文件做了各种修改之后才起作用。修改可以包括但不限于编辑、定标、代码转换以及创建其衍生作品(例如，将该部分插入到其他媒体中)。
此处所用的词汇“链接”“被链接”以及“建立链接”可以指在储存库(诸如数据库或者媒体指纹列表)中存储指向辅助内容的指针，在储存库(诸如数据库或者媒体指纹列表)中存储包含辅助内容的文件的文件名，在储存库(诸如数据库或者媒体指纹列表)中存储包含辅助内容的位置的统一资源定位符，在储存库(诸如数据库或者媒体指纹列表)中存储包含辅助内容的数据库引用，在储存库(诸如数据库或者媒体指纹列表)中存储辅助内容等等。此处所用的词汇“链接”可以指从存储于储存库(诸如数据库或者媒体指纹列表)中的指针检索辅助内容，从被储存库(诸如数据库或者媒体指纹列表)引用的文件中检索辅助内容，使用存储于储存库(诸如数据库或者媒体指纹列表)中的统一资源定位符检索辅助内容，从存储于储存库(诸如数据库或者媒体指纹列表)中的数据库引用检索辅助内容，从储存库(诸如数据库或者媒体指纹列表)检索辅助内容等等。
可行的实施例允许标识当创建整个媒体产品时被指派给媒体文件的特定部分的辅助内容，即使当媒体文件被部分地、序列地以及以修改的形式播放时也允许标识该辅助内容。而且，可行的实施例没有元数据也可以起作用，因此不需要生成插入或者其他对与内容相关的元数据的操作或者任何内容修改。实施例对几乎任何类型的媒体(包括视频和音频文件以及音频和视频文件的多媒体播放等等)起作用。
将诸如辅助内容的信息和媒体内容相关联。在可行的实施例中，媒体指纹(诸如音频和视频指纹)被用来标识媒体内容部分。媒体指纹不仅标识整个媒体作品，还标识正被呈现的精确部分，例如现在正在播放的部分。
在可行的实施例中，维护媒体文件的媒体指纹的数据库。另一个数据库将代表某媒体内容的具体部分的具体媒体指纹映射到相关联的辅助内容。当创建媒体内容时，辅助内容可以被指派给具体的媒体内容部分。当该媒体内容部分被呈现时，将对应于正被呈现该部分的媒体指纹和映射数据库中的媒体指纹相比较。比较基本上可以相对于呈现媒体内容部分实时执行。
例如，可以在视频相关的网页上播放电影的一部分。对正被播放的该部分相对应的媒体指纹基本上实时从该部分中获取。对该媒体指纹和映射数据库中的指纹进行比较。一旦识别，例如，正被播放的部分属于映射数据库中的任何电影的某部分，则原始地或者另外地指派给电影的该部分的辅助内容被标识并且被链接至或者被检索出来。
可行的实施例允许广告商在某种意义上“购买”视频场景。制造商或者制造商的代理机构(诸如搜索引擎或者网络服务提供商)因此可以选择将产品、服务等的广告与某媒体内容部分相联系。例如，软饮料公司可以标识演员正在饮用他们公司的具体产品的场景。软饮料公司或软饮料公司代理机构可以购买使用与该场景相对应的媒体指纹的权利以将他们的广告与特定的媒体内容部分相联系。这样，一旦向观看者呈现该场景，就链接至与该媒体内容部分相关联的信息，软饮料公司的广告就被呈现，基本上相对于场景播放实时。
可以临近、最接近或者重叠在视频场景上呈现广告内容。每当电影的该具体部分被呈现在连接到互联网或者方便本实施例的另一网络的几乎任何媒体呈现设备上时，都使用媒体指纹技术标识电影的该部分。这样，通知购买者和相关联的信息播放网页。根据购买者和媒体内容提供商或者呈现媒体内容的其他实体之间的交换协议，相关的广告(由购买者所限定)随着对应的媒体内容部分的呈现而实时显示或者在对应的媒体内容部分的呈现之后显示。
而且，当呈现对应的媒体内容部分时，可行的实施例忠实地呈现辅助信息或者其他相关联的信息，即使对应的媒体内容部分用在衍生内容(诸如预告片、广告或者甚至媒体内容的未授权的拷贝(例如用于在社交网络站点上的盗版)上亦如此。无论以任何格式呈现媒体内容部分，它都被认出并且链接至与之相关联的信息(诸如辅助内容)。在可行的实施例中，媒体内容的一部分被用于搜索查询。
在可行的实施例中，计算机系统执行一个或多个上述特征。计算机系统包括一个或多个处理器并且可以以硬件、软件、固件和/或其任何组合起作用以执行一个或多个上述特征。计算机系统的处理器和/或其他部件可以在计算机可读和可执行的指令(这些指令可以被编码在一种或多种计算机可读存储媒体中和/或由计算机系统所接收)的指示下在执行一个或多个上述特征时起作用。
在可行的实施例中，一个或多个上述特征在解码器中执行，解码器可以包括硬件、软件、固件和/或其任何组合，解码器在计算机平台上起作用。计算机平台可以被处置或布置为电子设备(诸如TV、DVD播放器、游戏设备、工作站、台式机、膝上型计算机、手持或者其他计算机、能够网络通信的设备(诸如蜂窝式电话、便携式数字助理(PDA)、便携式游戏设备等等))的部件。一个或多个上述特征可以用集成电路(IC)器件实现，配置为执行这些特征。IC可以是专用集成电路(ASIC)和/或可编程IC器件(诸如现场可编程门阵列(FPGA)或者微控制器)。
2.0示例性过程
执行此处描述的示例性过程(和方法)可以涉及将信息和媒体内容的一部分相关联。利用可行的实施例可以实现的过程，可以利用比所示的示例性步骤或多或少的步骤和/或利用可能按照不同于示例性过程的顺序的顺序而执行的步骤来进行。示例性过程可以在一个或多个计算机系统上执行，例如，在一个或多个计算机可读存储媒体中所编码的机器可读指令的控制下，或者该过程可以在ASIC或者可编程IC器件上执行。
图1示出了根据可行的实施例的示例性过程100的流程图。过程100涉及将信息与媒体内容的一部分相关联。一开始呈现媒体内容的一部分，诸如在唱片或者其他歌曲集上的歌曲或者歌曲的一部分、或者电影的某部分。例如，当用户在听歌曲或者观看视频格式的电影时呈现该媒体部分。
在步骤101中，从媒体内容部分获取媒体指纹，基本上相对于该媒体内容部分的呈现实时进行。该媒体内容部分可以具有特定的时间长度(例如，一定的时间持续，一定数量的电影或者视频帧数等等)。例如，在一种实现方式中，媒体内容部分可以包括六秒长度的视频片段。媒体指纹可以是用于音频媒体的声学指纹或者用于视频媒体的视频指纹。在某些情况下，可以从视频媒体内容的一部分中获取声学指纹，反之亦然；可以从音频内容的一部分中获取视频指纹。媒体指纹可以从其他媒体(诸如图像、图形、文本以及动画相关的媒体)中获取，以及从音频和视频媒体中获取。在一些情况下，可以从多媒体内容的一部分中获取不止一种媒体指纹。
在从媒体内容部分中提取媒体指纹之前，其他功能可以起作用。例如，访问将从其获取媒体指纹的正在被呈现的媒体内容部分。
在步骤102中，基于所获取的媒体指纹将信息内容与媒体内容部分相关联。信息内容可以是以某种概念或者商业方式与媒体内容部分相关的辅助的或者补充的信息。信息内容可以被索引至媒体内容部分，例如，在创建包括媒体内容部分的原始媒体内容时。信息内容可存储在储存库(诸如数据库)中，可以包括视频、音频、文本、图形、触觉的或者其他的内容，并且可以包括商业、广告、指导、提供资讯的或者其他与媒体内容部分相关联的内容。为了清楚起见，词汇“辅助信息”以下可以用于指与媒体内容部分相关联的信息。
在步骤103中，建立对相关联的信息的链接。在将信息与媒体内容部分相关联以及链接至相关联的信息之前，其他功能可以起作用。例如，所获取的媒体指纹可以和储存库(诸如多样存储的媒体指纹的数据库)相比较，与其匹配并因而被标识。将信息相关联和建立对信息的链接可以基于媒体指纹的对比、匹配以及对应的识别。
在步骤104中，与媒体内容部分相关联的信息随着媒体内容部分呈现。例如，相关联的信息基本上可以相对于媒体内容部分的呈现实时地呈现。相关联的信息可以和媒体内容部分联合被呈现，例如，在与呈现媒体内容部分的显示场相毗邻(或者另外地最接近)的显示场中，或者覆盖、叠加或者相对于其插入。
这样，例如，假设的电影(例如媒体内容)包含明星演员进入并驾驶某制造的模型跑车或者引用特定牌子的饮料的场景(例如内容部分)。辅助信息可以与这个可能包括为某制造的模型跑车或饮料做广告的场景相关联。当该场景播放时，提供对该广告的链接。呈现场景所用的媒体播放器因此链接到广告并在该场景期间在与播放场景的显示场最接近的显示场中呈现广告或者可以将广告内容叠加到场景上，可能有意识地对观看者明显或者可能潜意识在地向观看者呈现。
除了广告之外，与媒体内容相关联的辅助信息还可以包括其他商业信息。例如，用于工程师、技师、医师或者技术人员的假设的培训视频(例如，媒体内容)可以包括指导者、老师、教授或者讲述者演示某种仪器、设备、装置、部件、化学药品、解决方案、工具等的功能的片段(例如，内容部分)。辅助信息可以与可能包含与仪器、工具等相关的商业信息的该片段相关联。
而且，和媒体内容相关联的辅助信息可以包括以某种方式提供资讯的内容或者相对于媒体内容部分的上下文环境。例如，假设的电影(例如，媒体内容)可以是从经典文学作品的场景改编，诸如威廉姆莎士比亚的安特斯·安庄尼克斯(Titus Andronicus)或者约翰·沃尔夫冈·冯·歌德的浮士德(Faust)或者已经在电影术上取得经典地位或者其他特殊意义的电影或者视频，诸如飘(Gone with the Wind)，卡萨布兰卡(Casablanca)，或者现代启示录(Apocalypse Now)。电影的特定的场景(例如，内容部分)可以具有某些特殊的文学或者其他的艺术价值。
例如，特斯·安庄尼克斯中人物Aaron发现他的孩子时的独白，可能被文学界认为具有特殊而或许是持久的文学和戏剧(甚至可能是精神上的)意义。当在假设的教育或者文学背景下呈现特斯·安庄尼克斯的电影改编时，包括Aaron的著名独白的场景被呈现。辅助信息内容可以包括视频、音频或者由教授或者文学家所作的基于文本的解说词、英语课或者戏剧、或者戏剧评论家或者涉及Aaron的独白的解说员，并因此和正在呈现的场景相关联。一旦将这个辅助信息与该场景相关联并链接至该场景，就可以和场景一起呈现解说词。
与相关联的辅助信息的关联以及对该辅助信息的链接可以随着场景的呈现实时进行。可以实时地且最接近媒体内容部分地呈现辅助信息。然而，为避免用与独白相关的解说词使观看者和听者从备受称赞的独白中分神，实时呈现与独白相关联的辅助内容可以简单地包括基于文本或图形的符号，该符号表征辅助信息的可用性。表征辅助信息的可用性的符号可以允许整个解说词实时呈现，例如，在接收输入时。可替换地，可以将辅助内容的呈现延迟再呈现，例如在场景呈现之后，或者可以先观看该场景而仅出现一个表示解说词可以获得的符号，然后再利用与该场景同时呈现的解说词来重复。
具有可以与这样的提供资讯的辅助信息相关联的部分的媒体内容不限于文学和其他艺术作品而可以几乎在任何领域区域响起。例如，媒体内容可以包括科学座谈会的记录、课堂授课、政治运动、演讲、辩论、城市礼堂会议、司法和政府行动等等。因此，可以与媒体内容相关联的辅助信息还可以包括指导性的、教育的、审美的、上下文背景的以及分析性的信息。这样的辅助关联信息可以包括与媒体内容部分相关的解说词或者批评意见。可替换的信息也可以和媒体内容部分相关联，例如，在政治运动的上下文中。因而，与这样的媒体内容相关联的辅助信息可以与媒体内容部分形成对比或者抵触，或者包括与媒体内容的对比、对媒体内容的增加和代替。
一旦随着媒体内容部分呈现相关联的信息，当另一媒体内容部分被呈现或访问时，过程100可以继续(或者重新开始)。可替换地，一旦随着媒体内容部分呈现相关联的信息，过程100可以完成。
媒体内容部分及其组成部分可以包括原始媒体内容。媒体内容部分的一部分也可以包括衍生的内容。衍生的内容可以从媒体内容部分中获取，其具有相对于媒体内容的原始实例独立的内容项。衍生的内容可以包括和原始媒体内容相关的媒体序列，诸如从歌曲的一部分中得到的音频采样或者从视频的场景中得到的电影预告片。衍生的内容可以是原始媒体内容的授权拷贝。
例如，歌曲采样和视频预告片可以分别用于给拥有该媒体和/或从事于营销该媒体的企业所制作的音乐和电影做广告。然而，可行的实施例甚至对于未经授权的衍生内容(诸如原始内容盗版的未经授权的拷贝)也起作用。因此，辅助信息甚至与盗版媒体内容部分的未经授权的拷贝相关联和链接。
而且，媒体内容及其部分可以包括相对于媒体内容的原始实例(例如，版本等)修改的内容。已被定标、编辑、代码转换、定标转换、重新格式化等、或者这样的修改的组合所修改的媒体内容。
3.0示例性系统
图2示出了根据可行的实施例的示例性系统200。系统200的功能涉及将媒体内容的一部分与信息相关联。因此系统200可以执行进程、执行过程或者另外地用于将信息与媒体内容的一部分相联系。在可行的实施例中，系统200执行用于将信息与媒体内容的一部分相关联的过程，诸如以上参考图1描述的过程100。
系统200的一部分可以用计算机系统的一个或多个部件来配置，该一个或多个部件可以在用计算机可读存储媒体编码的指令的控制下进行操作。系统200的一部分也可以用ASIC或者可编程IC器件来配置。系统200的一部分可以布置在能够联网的媒体播放器或者解码器以及信息储存库(诸如一个或多个数据库)中。一个或多个储存库可以与系统200的其他部件(包括媒体播放器或解码器和/或其他储存库)集成布置、接近于该其他部件地布置、或远离于该其他部件而布置。系统200的一些部件可以经由一个或多个网络(可以包括互联网)耦合到该系统的其他部件。
系统200具有客户计算机201。客户计算机201可以是工作站、个人计算机(PC)、或者消费电子(CE)设备(诸如TV、DVD播放器、立体声音乐系统、家庭影院等)。客户机201直接或者经由一个或多个网络299与一个或多个服务器210进行通信耦合。(可替换地，服务器210中的一个或多个可以利用另一个客户计算机(例如，另一个PC或者CE设备)实现。)服务器210中的一个或多个可以是互联网服务器。服务器210中的一个或多个可以是数据库服务器。
媒体内容的流250被客户机201所访问(例如，从DVD、CD或者其他内容记录中接收、下载或者播放)。流250的媒体内容的多个部分(例如，六秒钟的片段)被媒体播放器应用程序203所解码。媒体播放器应用程序203在网页或其他能够呈现的显示器202上呈现解码的部分。媒体播放器应用程序203可以相对于媒体内容流250整体地按顺序呈现这些媒体内容部分，尽管它们的呈现可能相对于解码一些部分的顺序脱节。
媒体播放器应用程序201具有嵌入式媒体指纹生成器(例如提取器)205。指纹生成器205周期地从媒体内容流250中提取媒体指纹。在可行的实施例中，针对媒体内容流250中的媒体内容的每个部分并且相对于该部分实时地从媒体内容流250中获取一个或多个媒体指纹。在一种实现方式中，媒体内容部分有六秒长。然而，媒体指纹对应的媒体内容部分可以有几乎任何时间长度，这可以根据时间持续、帧数等来测量，并且该长度从内容流250部分的一节到另一节可以有所不同。
一旦从流250部分中提取，将每个媒体指纹与储存库(诸如媒体指纹数据库)211中的存储的多个媒体指纹进行比较。(尽管视频指纹作为实例来讨论，但是可行的实施例也适合于任何类型的媒体指纹)。指纹储存库211可以包括客户机201的数据存储部件、接近于客户机201或者相对于客户机临近和/或基本上直接耦合至客户机的存储部件、或者远离客户机201并通过一个或多个网络299与客户机通信耦合的储存库。
将从媒体内容流250中获取的媒体指纹匹配到存储于媒体指纹储存库211中的媒体指纹之一允许媒体内容流250的标识以及从其获取匹配的指纹的媒体指纹的媒体内容流的该部分。将被标识的媒体内容部分与储存库212(诸如包括多种音频、视频、图像、图形、文本、动画文件以及多种媒体文件的组合的信息内容的数据库)相比较。储存库212可以包括储存库211的部件或者可以与储存库分开或者独立，并且接近于储存库211或者相对于储存库临近或者远离储存库。
储存库212可以基本上直接与储存库211通信耦合或者经由一个或多个网络299与储存库通信耦合。相对于彼此，储存库211和212可以包括相同、相似或者不同的信息存储类型。储存库211和212中任意之一或者两者都可以包括数据库、文件系统、存储区域网络(SAN)、网络区域存储(NAS)或者基于网络的虚拟存储。
一旦比较并搜索了从流250的一部分中获取的所标识的媒体指纹与储存库212中所存储的信息内容之间的匹配，就找到了匹配。将匹配的内容与流250的一部分相关联，作为相对于流250的一部分的辅助信息内容215。媒体播放器应用程序203链接到相关联的辅助内容215。媒体播放器应用程序203相对于与辅助内容215相关联的流250的一部分的呈现实时地呈现辅助内容。在流250的对应部分的旁边、在流的对应部分之上、叠加在流的对应部分之上或者另外地接近于流的对应部分或者与流的对应部分联合地在网页或者其他显示器202上呈现相关联的(例如，辅助的)内容。
4.0示例性方法
此处描述的过程和系统可以用于进行商业操作(诸如可以涉及销售和广告和指导的呈现以及商业和教育信息的呈现)。图3示出了根据可行的实施例的示例性方法300的流程图。一旦创建了媒体内容，在步骤311中一个或多个广告(“Ads”)就与媒体内容的一部分相索引。
在步骤312中，换取有价值的报酬(诸如酬金、收入等)的广告的呈现利用该媒体内容部分进行销售。例如，广告可以被销售给可能想将与其产品或服务相关的广告与该媒体内容部分相关联的实体销售。在不止一个广告和一个媒体内容部分相关联的情况下，各个广告可以按顺序排序。
因此，在步骤313中，各个广告按照基于各自提供(例如，投标)的用于将广告和媒体内容部分一起呈现的相对酬金价值的顺序排序。例如，第一价格值高于第二价格值。来自投标第一价格值以将第一广告与媒体内容部分相关联的第一实体的第一广告，在排名顺序上高于来自投标较低的第二价格值以将第二广告与该媒体内容部分相关联的第二实体的第二广告。
一旦呈现了媒体内容部分，在步骤321中从媒体内容部分获取媒体指纹。相对于相应媒体内容部分的呈现而实时地获取媒体指纹。在步骤322中，基于从媒体内容部分中获取的媒体指纹将一个或多个广告与媒体内容部分相关联。
在步骤323中，基于广告各自的排名来建立对一个或多个广告的链接。在步骤324中，基本上相对于媒体内容部分的呈现而实时地呈现建立了链接的广告。
在步骤325中，确定是否另一广告与该媒体内容部分相关联。如果是，则为该另一广告重复步骤324。其他广告可以基于其各自的排名随着媒体内容部分有选择地或者顺序地显示。
如果没有另一广告与该媒体内容部分相关联，或者一旦呈现了全部或者给定数量的与该媒体内容部分相关联的其他广告，在步骤330中收到酬金，例如，在对已经同意随着媒体内容呈现他们的广告的实体进行通知、开账单、借记或者开出发票等时。方法300现在可以完成了或者可以在呈现另一个媒体内容部分时重复。
其他方法可以涉及提供指导、教育或者培训、为解说提供论坛、或者提供商业信息以换取酬金。在这些方法中，指导性的、教育性的、或者技术信息、解说词、合作、辩论和异议、以及商业信息分别与媒体内容相关联。在呈现一定的媒体内容部分时，提供特定项的相关联(例如，辅助)的信息并因此收到换取的酬金。
图4示出了根据可行的实施例的另一示例性过程400的流程图。在步骤401中，媒体内容或者其部分包括到搜索引擎的查询输入。在另一可行的实施例中，在步骤402中获取媒体指纹以形成查询输入。带有媒体指纹输入的查询作为查询输入可以节省带宽，例如，与使用原始媒体内容或从其获取媒体指纹的原始媒体内容的一部分相比较。在步骤403中，搜索引擎执行与媒体指纹或者媒体内容或媒体内容的一部分相关的信息的搜索。因此，搜索可以基于从媒体内容或其部分中获取的媒体指纹来执行。搜索可以跨越多个信息储存库(诸如数据库和包括互联网内容的虚拟数据库)执行。在步骤404中，与媒体内容部分相关联的辅助信息可以利用查询的响应中所返回的搜索结果来呈现。
这些可行的实施例中的任何一个都可以用于搜索搜索库、数据库或者媒体内容的其他储存库来查找媒体内容的特定媒体片段或者其他部分。一旦返回查询的响应中的搜索结果(该搜索结果包括媒体内容部分或者从媒体内容部分中获取的媒体指纹)，利用搜索结果呈现与媒体内容部分相关联的信息。
此外，另一方法可能涉及过程400。例如，在步骤405中，作为利用搜索结果返回辅助关联信息的交换而收到有价值的报酬。可以在步骤406中销售该交换。可以存在多个辅助关联信息的实例。在步骤407中，可以对多个实例进行排序。在可行的实施例中，排名可基于作为链接至搜索结果和/或利用搜索结果提供辅助信息的交换所达成协议的酬金值。在步骤408中，排序的辅助相关联信息可以被索引至媒体内容部分和/或搜索结果。
5.0示例性计算机系统平台
图5示出了可以实现可行的实施例的示例性计算机系统平台500。计算机系统500包括总线502或者用于信息通信的其他通信机构、以及和总线502耦合的用于处理信息的处理器504。计算机系统500还包括主存储器506，诸如随机访问存储器(RAM)或者耦合到总线502的用于存储信息和处理器504要执行的指令的其他动态存储装置。主存储器506还可以用于存储时间变量或者执行由处理器504执行的指令期间的其他中间信息。计算机系统500还包括只读存储器(ROM)508或者耦合到总线502的用于存储静态信息和处理器504的指令的其他静态存储装置。提供存储装置510(诸如磁盘或者光盘)并耦合到总线502用于存储信息和指令。
计算机系统500可以经由总线502耦合到显示器512，诸如液晶显示器(LCD)、阴极射线管(CRT)等，用于向计算机用户显示信息。包括字母数字和其他键的输入装置514耦合到总线502，用于将信息和命令选择传达给处理器504。另一种类型的用户输入装置是光标控制器516，诸如鼠标，轨迹球或者光标方向键，用于将方向信息和命令选择传达给处理器504并用于控制光标在显示器512上的运动。这种输入装置通常在两个轴上具有两个自由度，第一轴(例如，x)和第二轴(例如，y)，这允许该装置在平面内指定位置。
本发明涉及使用计算机系统500用于将信息和媒体内容的一部分相关联。根据一个可行的实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个的序列，计算机系统500提供带有远程目标的重写查询。这样的指令可以从另一个计算机可读媒体中被读到主存储器506中，诸如存储装置510。执行包含在主存储器506中的指令序列使处理器504执行此处描述的处理步骤。也可以使用以处理配置的一个或多个处理器来执行包含在主存储器506中的指令序列。在可替换的实施例中，可以使用硬线电路代替软件指令或硬线电路结合软件指令来实现本发明。因此，可行的实施例不限于硬件电路和软件的任何特定组合。
此处所用的词汇“计算机可读的媒体”指任何参与向处理器504提供供执行的指令的媒体。这样的媒体可以采取许多种形式，包括但不限于，非易失性媒体、易失性媒体、以及传输媒体。非易失性媒体包括，例如，光盘或磁盘，例如存储装置510。易失性媒体包括动态存储器，诸如主存储器506。传输媒体包括同轴电缆、铜导线以及其他导体和光纤，包括组成总线502的导线。传输媒体也可以采取声波或者光波的形式，诸如那些在无线电波和红外数据通信过程中产生的声波或者光波。
计算机可读媒体的常用形式包括，例如，软盘、软磁盘、硬盘、磁带、或者任何其他的磁性媒体、CD-ROM、任何其他的光媒体、打孔卡、纸质磁带、任何其他的旧媒体或者其他带有孔图案的物理媒体、RAM、PROM、以及EPROM、FLASH-EPROM、任何其他的存储芯片或者盒式磁带、下文描述的载波或者计算机可读的任何其他媒体。
在将用于执行的一个或多个指令的一个或多个序列携带给处理器504的过程中，可以涉及各种形式的计算机可读媒体。例如，指令可能最初被携带远程计算机的磁盘上。该远程计算机可以将指令加载到其动态存储器中并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并用红外发送器将数据转换为红外信号。耦合到总线502的红外探测器能够接收红外信号中所携带的数据并将数据放在总线502上。总线502将数据携带到主存储器506，处理器504从主存储器检索并执行这些指令。由主存储器506接收的指令可以在处理器504执行之前或者之后可选地存储在存储装置510上。
计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信，网络链路连接至局域网522。例如，通信接口518可以是综合业务数字网(ISDN)卡或者数字订户线路(DSL)、电缆或者其他调制解调器以向对应类型的电话线提供数据通信连接。作为另一个实例，通信接口518可以是局域网(LAN)卡以向可兼容的LAN提供数据通信连接。还可以实现无线链路。在任何这样的实现方式中，通信接口518发送和接收电的、电磁的或者光信号，这些信号携带代表各种类型信息的数字数据流。
网络链路520通常通过一个或多个网络向其他数据装置提供数据通信。例如，网络链路520可以通过局域网522向主机524或者由互联网服务提供商(ISP)526运营的数据设备提供连接。ISP 526接着通过全球分组数据通信网络(现在统称为“互联网”528)提供数据通信服务。局域网522和互联网528都使用携带数字数据流的电、电磁或者光信号。通过各种网络的信号以及网络链路520上的和通过通信接口518的信号，携带数字数据往来于计算机系统500，是传输信息的载波的示例性形式。
计算机系统500可以通过网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在互联网的实例中，服务器530可能通过互联网528、ISP 526、局域网522以及通信接口518发送请求代码请求应用程序。根据本发明，如此处所述，一个这样的下载的应用程序提供将信息和媒体内容的一部分相关联。
当代码被接收和/或者存储在存储设备510中或者其他非易失性存储器中备以后执行时，所接收的代码可以被处理器504执行。采用这种方式，计算机系统500可以以载波的形式获得应用程序代码。
6.0大纲概要
为了扼要重述以上描述的一些部分，对将信息与媒体内容的一部分相关联进行说明。本大纲概要呈现简明扼要的重述，用于对以上描述的本发明的实施例的一些方面提供基本的回顾。应该注意本概要不是本实施例的各方面的全面总结。而且，应该注意，本概要非旨在被理解为标识出所描述的实施例的特别的重要的方面或者要素，也不是具体描述所描述的实施例的任何范围，也不是总体描述本发明的范围。以下大纲概要只是以凝练简要的形式回顾与所描述的示例性实施例相关的一些概念。概要应该理解为仅是以上示例性实施例的描述的简明、大概及概念性的重述。
将信息与媒体内容的一部分相关联。从媒体内容的一部分中获取媒体指纹。媒体指纹包括从其提取媒体指纹的媒体内容部分的唯一表示，唯一表示是从媒体内容部分的特性成分中获取的。基于所获取的媒体指纹将该信息与媒体内容部分相关联并且相关联的信息被链接。相关联的信息内容随着媒体内容的一部分被呈现。
媒体内容及其部分可以包括原始内容。媒体内容和其部分也可以包括衍生的内容，该衍生的内容是从媒体内容部分中获取的，带有至少一项独立于媒体内容的原始实例的内容。衍生的内容可以包括与媒体内容的原始实例、媒体内容的原始实例的授权拷贝和/或媒体内容的原始实例的未授权拷贝相关的媒体内容序列。
媒体内容或其部分可以包括相对于媒体内容的原始实例修改的内容。修改的内容是利用对媒体内容的原始实例进行编辑、定标和/或代码转换操作以及压缩和解压缩(包括有些有损压缩技术)相对于媒体内容的原始实例进行的修改。
将信息与媒体内容部分相关联还可以涉及访问媒体内容部分，其中在访问媒体内容部分的时可以获取媒体指纹。衍生的媒体指纹和存储于数据库或者另一个储存库中的多个媒体指纹相比较并且和这些媒体指纹中的一个相匹配。基于将衍生的媒体指纹和存储的多个媒体指纹中的一个相匹配，媒体内容部分被标识。将信息与媒体内容部分相关联和/或链接至相关联的信息是基于将衍生的媒体指纹与存储的多个媒体指纹中的一个相匹配和/或基于该匹配来标识出媒体内容部分。
将信息与媒体内容部分相关联也可以涉及呈现媒体内容部分。媒体指纹基本上可以相对于媒体内容部分的呈现而实时地获取。而且，与相关联的信息建立链接基本上可以相对于媒体内容部分的呈现实时执行，并且相关联的内容可以基本上相对于与其相关联的媒体内容部分的呈现实时地呈现。
辅助内容可以被索引到媒体内容部分，例如，在原始制造媒体内容时。媒体内容可以包括视频、音频、或者图像相关的媒体内容以及文本的、图形的或者动画相关的内容。
相关联的信息可以对于媒体内容部分具有辅助或者补充关系。相关联的信息可以包括视频、音频、文本、图形、或者触觉内容。相关联的信息可以与广告和/或其他商业信息相关。
将信息与媒体内容部分相关联可以进一步涉及提供相关联的信息内容以及在酬金中接收有价值的报酬作为对提供相关联的信息内容的交换，也可以包括销售这种交换。相关联的信息可以包括相关联内容的多个独立实例。将信息与媒体内容相关联因此也可以包括将相关联内容的多个独立实例排序。相关联的内容可以基于排序被提供。相关联内容的多个独立实例的排序可以基于与接收到的或者考虑到交换而主动提供的报酬相关联的价值。
因此，将信息与媒体内容部分相关联可以包括许多种方法。一种方法可以涉及将广告与媒体内容部分相关联。将广告与媒体内容部分相关联可以包括从媒体内容部分中提取媒体指纹。基于所获取的媒体指纹，将广告内容与部分媒体内容相关联并进行对广告内容的链接。广告内容基本上实时地随着媒体内容部分被呈现，作为对链接至广告内容和/或对广告内容的呈现的交换，以酬金形式接收有价值的报酬。交换可以被销售，例如售卖、提供出售等等。
广告内容可以包括广告内容的多个独立实例。方法可以包括对广告内容的多个独立实例进行排序。链接至广告内容可以包括基于广告内容的各自排名有选择地链接至广告内容的多个独立实例中的一个或多个。排名可以基于(至少部分地)与报酬相关联的价值，例如，财务的或者金钱的。
网络可操作的系统可以将内容相关信息与媒体内容部分相关联。该系统可以包括一个或多个与该网络通信连接的信息储存库，诸如数据库。信息储存库存储内容相关的相关联信息。信息储存库也存储用于使多个媒体内容部分与多个媒体指纹相关联的信息。通信连接到网络的客户计算机设备具有一个或多个处理器。客户机的处理器被配置为从媒体内容部分中提取媒体指纹。服务器和网络通信连接。服务器具有一个或多个处理器。服务器的处理器被配置为基于所获取的媒体指纹将内容相关的相关联信息与媒体内容部分相关联，以及将客户计算机链接到相关联的内容相关信息。基本上随着媒体内容部分实时地在客户计算机设备上呈现相关联的内容。
可行的实施例使用具有被编码的指令的计算机可读存储媒体，当由一个或多个处理器执行这些指令时，导致计算机将信息与媒体内容部分相关联以执行此处所描述的方法、过程、程序、方法等等中的一个或多个中的至少一部分和/或配置如此处所描述的系统。
在可行的实施例中，将信息与媒体内容部分相关联。建立到相关联的信息的链接并且相关联的内容随着媒体内容的部分被呈现。然而，在不用与媒体内容部分相关联的元数据的情况下，本发明也执行这些功能。
可行的实施例允许搜索与媒体内容相关的信息。使用媒体内容、媒体内容的一部分、或者从媒体内容中获取的媒体指纹来查询信息储存库(诸如数据库)。基于该查询返回搜索结果并且建立到与媒体内容部分相关联的信息的链接。相关联的信息和搜索结果一起被返回。
在可行的实施例中，方法允许在有价值的报酬中接收酬金，用于链接至相关联的信息和随搜索结果返回相关联的信息。与媒体内容部分相关联的信息的多个实例可以被排序，例如，基于与投标的酬金相关联或者其他主动提供以作为返回和搜索结果一起的多个实例中的每一个的交换的价值。这种交换可以被销售。
7.0等价物、扩展、替换物以及杂项
如此描述了将信息与媒体内容的一部分相关联。在上述的说明书中，参考许多具体细节描述了本发明的实施例，这些细节可以随着实现方式而有所不同。因此，唯一而专门表明什么是本发明以及由申请人所意在说明为本发明的是，由本申请发布的以这些权利要求发布的具体形式(包括任何随后的修改)的权利要求集合。为包含在这些权利要求中的词汇所作的任何清楚地在此处阐述的定义将支配权利要求中所使用的这些词汇的意思。因此，没有在权利要求中清楚地说明的限制、元素、属性、特征、优点或者性质不应该以任何方式限制这样的权利要求的范围。因此，说明书和附图应该看作示例性的而非限制性的意义。

Claims (21)

1.一种用于将信息与媒体内容相关联的方法，包括：
从所述媒体内容的一部分中获取媒体指纹，其中，所述媒体指纹包括所述媒体内容部分的唯一表示，所述唯一表示是从所述媒体内容部分的特性成分中获取的；
基于所获取的媒体指纹将信息与所述媒体内容的所述部分相关联；以及
链接至相关联的信息；
其中，相关联的内容随着所述媒体内容的所述部分被呈现。
2.根据权利要求1所述的方法，其中，所述媒体内容和所述媒体内容的所述部分包括原始内容或衍生内容中的至少一个，并且其中，所述衍生内容是从所述媒体内容部分中获取的并具有独立于所述媒体内容的原始实例的至少一项内容。
3.根据权利要求1所述的方法，其中，所述媒体内容和所述媒体内容的所述部分包括相对于所述媒体内容的原始实例修改的内容，并且其中，修改后的内容是利用编辑、定标或代码转换中的一个或多个相对于所述媒体内容的原始实例来修改的。
4.根据权利要求1所述的方法，还包括：
访问所述媒体内容部分；
其中，在访问所述媒体内容的所述部分时执行提取步骤，
将所获取的媒体指纹与存储的多个媒体指纹相比较；
在比较步骤中，将所获取的媒体指纹与所存储的多个媒体指纹中的一个相匹配；以及
基于匹配步骤来标识所述媒体内容部分；
其中，相关联步骤或链接步骤中的至少一个基于所述匹配步骤或标识步骤中的至少一个。
5.根据权利要求1所述的方法，还包括：
呈现所述媒体内容；以及
其中，所述提取步骤相对于呈现步骤被执行。
6.根据权利要求5所述的方法，其中，所述链接步骤相对于所述呈现步骤被执行，并且其中，所述相关联的内容相对于与其相关联的媒体内容部分的呈现而被呈现。
7.根据权利要求1所述的方法，还包括：
利用所述媒体内容的所述部分索引所述辅助内容。
8.根据权利要求1所述的方法，其中，所述媒体内容包括与视频、音频或图像中的至少一个相关的媒体内容。
9.根据权利要求1所述的方法，其中，所述相关联的内容包括视频、音频、文本、图形或触觉内容中的至少一个。
10.根据权利要求1所述的方法，其中，所述相关联的内容与广告相关。
11.根据权利要求1所述的方法，其中，所述相关联的内容包括商业信息和指导性信息中的至少一个，并且其中，所述指导性包括与所述媒体内容部分相关的教育性信息、审美性信息、上下文信息、分析性信息、解说词、或批评意见中的一个或多个、或者与所述媒体内容部分相关的替换性信息，所述替换性信息具有对比、比较、添加、代替或抵触中的至少一个。
12.根据权利要求10或权利要求11所述的方法，还包括：
提供所述相关联的内容；以及
在针对所述提供步骤的交换中，接收以酬金为形式的报酬。
13.一种用于搜索与媒体内容相关的信息的方法，包括：
从储存库查询信息；
其中，使用所述媒体内容的一部分或从所述部分中获取的媒体指纹中的至少一个进行查询；
其中，所述媒体指纹包括所述媒体内容部分的唯一表示，所述唯一表示是从所述媒体内容部分的特性成分中获取的；
返回与所述媒体内容部分相关的搜索结果；以及
返回与所述媒体内容部分相关联的辅助信息；
其中，相关联的所述辅助信息随所述搜索结果被呈现。
14.根据权利要求13所述的方法，还包括：
在随所述随搜索结果返回所述辅助信息的交换中，接收以酬金为形式的报酬。
15.根据权利要求14所述的方法，还包括：
销售所述交换。
16.根据权利要求14所述的方法，其中，相关联的辅助信息包括相关联的辅助信息内容的多个独立实例，所述方法还包括：
对相关联的辅助信息的所述独立实例在所述多个独立实例内排序；
其中，返回辅助信息的步骤包括基于排序步骤来有选择地链接至返回的辅助信息内容的多个独立实例中的一个或多个；以及
其中，所述排序步骤至少部分地基于与所述酬金相关联的值。
17.根据权利要求16所述的方法，其中，与所述酬金相关联的值与对应于所述酬金的财务值或者金钱值中的至少一个相关。
18.一种用于将内容相关信息与媒体内容相关联的能在网络中操作的系统，包括：
与所述网络通信耦合的一个或多个信息储存库；
其中，所述信息储存库中的至少一个存储所述内容相关信息；
其中，所述信息储存库中的至少一个存储用于使多个媒体内容部分与多个媒体指纹相关联的信息；以及
其中，客户计算机设备能与所述网络通信耦合，所述客户计算机设备具有一个或多个处理器，所述处理器被配置为从所述媒体内容的一部分中获取媒体指纹；
与所述网络通信耦合并具有一个或多个处理器的服务器，所述处理器被配置为：
基于所获取的媒体指纹将所述内容相关信息与所述媒体内容的所述部分相关联；以及
将所述客户计算机链接至相关联的所述内容相关信息；
其中，相关联的内容随着所述媒体内容的所述部分被呈现在所述客户计算机设备处。
19.一种用于将信息与媒体内容相关联的方法，包括：
从所述媒体内容的一部分中获取媒体指纹；
其中，所述媒体指纹包括从其获取所述媒体指纹的所述媒体内容部分的唯一表示，所述唯一表示是从所述媒体内容部分的特性成分中获取的；
基于所获取的媒体指纹将信息与所述媒体内容的所述部分相关联；以及
链接至相关联的信息；
其中，相关联的内容随着所述媒体内容的所述部分被呈现。
20.一种用于将信息与媒体内容相关联的方法，包括：
从所述媒体内容的一部分中获取媒体指纹；
其中，所述媒体指纹包括从其获取所述媒体指纹的所述媒体内容部分的唯一表示，所述唯一表示是从所述媒体内容部分的特性成分中获取的；
基于所获取的媒体指纹将信息和所述媒体内容的所述部分相关联；以及
链接至相关联的信息；
其中，所述媒体内容包括内容的原始实例或所述原始内容的衍生实例。
21.一种用于将信息与媒体内容相关联的方法，包括：
从所述媒体内容的一部分中获取媒体指纹，其中，其中所述媒体指纹包括从其获取所述媒体指纹的所述媒体内容部分的唯一表示，所述唯一表示是从所述媒体内容部分的特性成分中获取的；
基于所获取的媒体指纹将信息与所述媒体内容的所述部分相关联；以及
链接至相关联的信息；
其中，所述媒体内容包括内容的原始实例或所述原始内容的衍生实例；以及
其中，所述相关联的内容随着所述媒体内容的所述部分被呈现。
CN2008801050848A 2007-08-31 2008-08-27 将信息与媒体内容的一部分相关联 Pending CN102165439A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US96954307P 2007-08-31 2007-08-31
US60/969,543 2007-08-31
US2644608P 2008-02-05 2008-02-05
US61/026,446 2008-02-05
US12/198,737 US20090063277A1 (en) 2007-08-31 2008-08-26 Associating information with a portion of media content
US12/198,737 2008-08-26
PCT/US2008/074504 WO2009032707A1 (en) 2007-08-31 2008-08-27 Associating information with a portion of media content

Publications (1)

Publication Number Publication Date
CN102165439A true CN102165439A (zh) 2011-08-24

Family

ID=40408928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801050848A Pending CN102165439A (zh) 2007-08-31 2008-08-27 将信息与媒体内容的一部分相关联

Country Status (3)

Country Link
US (3) US20090063277A1 (zh)
CN (1) CN102165439A (zh)
WO (1) WO2009032707A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229515A (zh) * 2011-09-26 2013-07-31 恩斯沃尔斯有限责任公司 提供与广播内容有关的内容相关信息的系统和方法
CN103778174A (zh) * 2012-10-19 2014-05-07 索尼公司 用于基于场景变化检测触发音频指纹法分析的装置和方法
CN105580012A (zh) * 2013-09-11 2016-05-11 辛赛股份有限公司 视频内容的动态绑定
CN107003877A (zh) * 2014-11-13 2017-08-01 梅特里克品牌有限公司 应用的上下文深层链接
US10701127B2 (en) 2013-09-27 2020-06-30 Aibuy, Inc. Apparatus and method for supporting relationships associated with content provisioning
US11017362B2 (en) 2013-09-27 2021-05-25 Aibuy, Inc. N-level replication of supplemental content
CN113348650A (zh) * 2019-01-24 2021-09-03 斯纳普公司 交互信息界面

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009026803A1 (en) * 2007-08-27 2009-03-05 Yuvad Technologies Co., Ltd. A method for identifying motion video content
US20090063277A1 (en) * 2007-08-31 2009-03-05 Dolby Laboratiories Licensing Corp. Associating information with a portion of media content
US20110035382A1 (en) * 2008-02-05 2011-02-10 Dolby Laboratories Licensing Corporation Associating Information with Media Content
WO2009140816A1 (en) * 2008-05-21 2009-11-26 Yuvad Technologies Co., Ltd. A method for facilitating the archiving of video content
US8370382B2 (en) 2008-05-21 2013-02-05 Ji Zhang Method for facilitating the search of video content
WO2009140818A1 (en) * 2008-05-21 2009-11-26 Yuvad Technologies Co., Ltd. A system for facilitating the archiving of video content
WO2009140820A1 (en) * 2008-05-21 2009-11-26 Yuvad Technologies Co., Ltd. A system for extracting a finger print data from video/audio signals
US8611701B2 (en) * 2008-05-21 2013-12-17 Yuvad Technologies Co., Ltd. System for facilitating the search of video content
US8577077B2 (en) * 2008-05-22 2013-11-05 Yuvad Technologies Co., Ltd. System for identifying motion video/audio content
WO2009140822A1 (en) 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A method for extracting a fingerprint data from video/audio signals
WO2009143667A1 (en) * 2008-05-26 2009-12-03 Yuvad Technologies Co., Ltd. A system for automatically monitoring viewing activities of television signals
CN102067228B (zh) * 2008-06-26 2013-04-24 日本电气株式会社 内容再现顺序决定系统及其方法和程序
US9684907B2 (en) * 2008-08-21 2017-06-20 Dolby Laboratories Licensing Corporation Networking with media fingerprints
WO2010022303A1 (en) * 2008-08-22 2010-02-25 Dolby Laboratories Licensing Corporation Content identification and quality monitoring
WO2010027847A1 (en) * 2008-08-26 2010-03-11 Dolby Laboratories Licensing Corporation Robust media fingerprints
US20100057527A1 (en) * 2008-08-29 2010-03-04 Disney Enterprises, Inc. System and method for personalized action based on a comparison of delivered content with a content fingerprint database
US9473812B2 (en) * 2008-09-10 2016-10-18 Imagine Communications Corp. System and method for delivering content
CN102216952B (zh) * 2008-11-17 2013-06-05 杜比实验室特许公司 通过矩不变量的投影可靠地与媒体内容对应的媒体指纹
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US8571255B2 (en) 2009-01-07 2013-10-29 Dolby Laboratories Licensing Corporation Scalable media fingerprint extraction
CN102414683B (zh) 2009-05-08 2014-05-21 杜比实验室特许公司 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹
US8635211B2 (en) 2009-06-11 2014-01-21 Dolby Laboratories Licensing Corporation Trend analysis in content identification based on fingerprinting
US8704854B2 (en) 2009-09-14 2014-04-22 Tivo Inc. Multifunction multimedia device
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8560583B2 (en) * 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US8694533B2 (en) 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US8655854B2 (en) * 2010-07-27 2014-02-18 Avid Technology, Inc. Hierarchical multimedia program composition
GB2483370B (en) * 2010-09-05 2015-03-25 Mobile Res Labs Ltd A system and method for engaging a person in the presence of ambient audio
GB2484268A (en) * 2010-09-16 2012-04-11 Uniloc Usa Inc Psychographic profiling of users of computing devices
KR20120034378A (ko) * 2010-10-01 2012-04-12 엔에이치엔(주) 사운드 인식을 통한 광고 정보 제공 시스템 및 방법
US20120173701A1 (en) * 2010-12-30 2012-07-05 Arbitron Inc. Matching techniques for cross-platform monitoring and information
WO2012091938A1 (en) * 2010-12-30 2012-07-05 Dolby Laboratories Licensing Corporation Ranking representative segments in media data
US9075806B2 (en) 2011-02-22 2015-07-07 Dolby Laboratories Licensing Corporation Alignment and re-association of metadata for media streams within a computing device
US20130298156A1 (en) * 2011-04-06 2013-11-07 Hamed Tadayon Systems and methods for synchronizing media and targeted content
US9035163B1 (en) * 2011-05-10 2015-05-19 Soundbound, Inc. System and method for targeting content based on identified audio and multimedia
CN104025017A (zh) * 2011-07-22 2014-09-03 谷歌公司 链接内容文件
CN103123787B (zh) * 2011-11-21 2015-11-18 金峰 一种移动终端与媒体同步与交互的方法
US9451308B1 (en) 2012-07-23 2016-09-20 Google Inc. Directed content presentation
US9317471B2 (en) 2012-11-02 2016-04-19 Google Inc. Bookmarking prospective media content on computer network
SG11201503850PA (en) * 2012-11-23 2015-06-29 Sony Corp Information processing device and information processing method
US9773058B2 (en) * 2013-03-15 2017-09-26 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
US20140280272A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Media content substitution
KR20160044954A (ko) * 2014-10-16 2016-04-26 삼성전자주식회사 정보 제공 방법 및 이를 구현하는 전자 장치
KR102019493B1 (ko) * 2015-02-09 2019-09-06 삼성전자주식회사 디스플레이 장치 및 그 정보 제공 방법
US9836535B2 (en) * 2015-08-25 2017-12-05 TCL Research America Inc. Method and system for content retrieval based on rate-coverage optimization
RU2623671C1 (ru) * 2016-03-14 2017-06-28 ЭхоТаг Корпорэйшн Способ обработки рекламных сообщений
US10268690B2 (en) 2017-03-30 2019-04-23 International Business Machines Corporation Identifying correlated content associated with an individual
WO2018191439A1 (en) * 2017-04-11 2018-10-18 Tagflix Inc. Method, apparatus and system for discovering and displaying information related to video content
US11418858B2 (en) 2017-09-01 2022-08-16 Roku, Inc. Interactive content when the secondary content is server stitched
US11234060B2 (en) 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience
CN108320730B (zh) * 2018-01-09 2020-09-29 广州市百果园信息技术有限公司 音乐分类方法及节拍点检测方法、存储设备及计算机设备
US11037258B2 (en) * 2018-03-02 2021-06-15 Dubset Media Holdings, Inc. Media content processing techniques using fingerprinting and heuristics
US11934915B2 (en) * 2019-11-20 2024-03-19 Farzad Salimi Jazi Synthetic standardized wave identifiers for representing and classifying entities

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289643B2 (en) * 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
US6496803B1 (en) * 2000-10-12 2002-12-17 E-Book Systems Pte Ltd Method and system for advertisement using internet browser with book-like interface
US7778872B2 (en) * 2001-09-06 2010-08-17 Google, Inc. Methods and apparatus for ordering advertisements based on performance information and price information
US8601504B2 (en) * 2002-06-20 2013-12-03 Verance Corporation Secure tracking system and method for video program content
US7769756B2 (en) * 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US20060184960A1 (en) * 2005-02-14 2006-08-17 Universal Music Group, Inc. Method and system for enabling commerce from broadcast content
US20070067429A1 (en) * 2005-05-17 2007-03-22 Jain Naveen K Delivery method for digital content based on stored, preferential, contextual, and/or situational data
US20070180461A1 (en) * 2006-02-02 2007-08-02 Ice, L.L.C. Multiplexed Telecommunication and Commerce Exchange Multimedia Tool
US7941420B2 (en) * 2007-08-14 2011-05-10 Yahoo! Inc. Method for organizing structurally similar web pages from a web site
US20090063277A1 (en) * 2007-08-31 2009-03-05 Dolby Laboratiories Licensing Corp. Associating information with a portion of media content

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229515A (zh) * 2011-09-26 2013-07-31 恩斯沃尔斯有限责任公司 提供与广播内容有关的内容相关信息的系统和方法
CN103229515B (zh) * 2011-09-26 2016-08-10 恩斯沃尔斯有限责任公司 提供与广播内容有关的内容相关信息的系统和方法
CN103778174B (zh) * 2012-10-19 2017-09-22 索尼公司 用于基于场景变化检测触发音频指纹法分析的装置和方法
CN103778174A (zh) * 2012-10-19 2014-05-07 索尼公司 用于基于场景变化检测触发音频指纹法分析的装置和方法
US10559010B2 (en) 2013-09-11 2020-02-11 Aibuy, Inc. Dynamic binding of video content
CN105580012A (zh) * 2013-09-11 2016-05-11 辛赛股份有限公司 视频内容的动态绑定
US11763348B2 (en) 2013-09-11 2023-09-19 Aibuy, Inc. Dynamic binding of video content
US10701127B2 (en) 2013-09-27 2020-06-30 Aibuy, Inc. Apparatus and method for supporting relationships associated with content provisioning
US11017362B2 (en) 2013-09-27 2021-05-25 Aibuy, Inc. N-level replication of supplemental content
CN107003877A (zh) * 2014-11-13 2017-08-01 梅特里克品牌有限公司 应用的上下文深层链接
US10667101B2 (en) 2014-11-13 2020-05-26 Branch Metrics, Inc. Contextual deep linking of applications
CN113348650A (zh) * 2019-01-24 2021-09-03 斯纳普公司 交互信息界面
CN113348650B (zh) * 2019-01-24 2023-08-22 斯纳普公司 交互信息界面的显示方法、系统及机器可读存储介质

Also Published As

Publication number Publication date
US20090063277A1 (en) 2009-03-05
WO2009032707A1 (en) 2009-03-12
US20120099760A1 (en) 2012-04-26
US20120143679A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
CN102165439A (zh) 将信息与媒体内容的一部分相关联
CN102084358A (zh) 将信息与媒体内容关联
CN101981574B (zh) 分布式媒体指纹储存库
US20110022589A1 (en) Associating information with media content using objects recognized therein
US11455465B2 (en) Book analysis and recommendation
CN101432728A (zh) 基于搜索查询的相关目标多媒体广告
Morris Making music behave: Metadata and the digital music commodity
US20130151364A1 (en) System and method for offering a title for sale over the internet
US20080140702A1 (en) System and Method for Correlating a First Title with a Second Title
US20080120311A1 (en) Device and Method for Protecting Unauthorized Data from being used in a Presentation on a Device
US20110167390A1 (en) Apparatus and method for utilizing an information unit to provide navigation features on a device
US20080120312A1 (en) System and Method for Creating a New Title that Incorporates a Preexisting Title
US20080120330A1 (en) System and Method for Linking User Generated Data Pertaining to Sequential Content
US20080120342A1 (en) System and Method for Providing Data to be Used in a Presentation on a Device
CN101243426A (zh) 媒体播放器服务库
US20080119953A1 (en) Device and System for Utilizing an Information Unit to Present Content and Metadata on a Device
CN104756503A (zh) 通过经由社交媒体向最感兴趣的时刻中提供深度链接来帮助发现节目内容
CN103310663B (zh) 一种智能点读方法、设备及系统
CN104602130A (zh) 实现交互式广告的方法及系统
CN101689285A (zh) 容器名声
CN110321469A (zh) 在电子文档的文本中嵌入媒体内容项
CN113469152B (zh) 相似视频检测方法及装置
CN105205695A (zh) 一种基于互联网的广告交互系统及方法
CN102216945A (zh) 通过媒体指纹进行联网
TW200910114A (en) Gathering statistics based on container exchange

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110824