数字墨水分析及万能笔技术

　　数字墨水是微软平板电脑中的一项关键技术。作为一项以人为本的科技，它改变了机器给人毫无个性的刻板印象，由于支持丰富自然的手写笔迹，它将极具表现力的人类手写书画方式与电脑的强大计算力结合在一起。为了使数字墨水成为微软视窗操作系统中首选的数据类型之一，微软亚洲研究院致力于智能数字墨水分析（结构分析，检测和识别）和全新的数字墨水用户界面（编辑和操作）两个课题。我们已开发的技术能够使无结构的线条组合变成有结构的手写笔记；日常生活中随手而写的便笺和笔记，可以通过自然而友好的用户界面，完全在笔墨的空间里进行编辑和整理。微软亚洲研究院的数字墨水技术使人们能够随心所欲地书写、绘画甚至涂鸦，并及时捕捉脑海中灵光一闪的创意。

　　未来的uPen，是一个无所不在的数字笔，是笔式计算的一个新范例。和普通的笔一样，它可以用来书写文字；和普通的笔不一样的是它能数字化地捕捉信息，不仅能把打印文档上的手写文字和批注数字化地识别出来，还能识别打印在纸上的类似条形码的信息，还能帮助用户对打印文档进行管理。通过把每一份打印的文档数字化，uPen拓宽了数字计算技术的使用和处理范围，也把用户从办公桌前解放出来。uPen与现有的计算机和谐共存，将“模拟世界”中笔的自然、便捷和灵活与数码世界的计算能力相结合，带给你随时、随处、随意的计算体验。

　　自然流畅的双语文语转换系统- 木兰

　　近年来，随着网络技术和计算机硬件技术的迅速发展，人们对各种基于语音技术的应用的需求日益增强，例如语音对话系统、呼叫中心、在手持设备上或者通过电话快速浏览网页或查看电子邮件等。传统的单语种文语转换系统已不能满足越来越多的多语种应用场景的需求。我们在一项对于语音合成技术可用性的调查中发现，由于日常生活中用到的各种中文文字材料如技术文献或电子邮件中往往包含英文词、短语、甚至句子，不能自然、正确地读出夹杂在中文文稿中的英文文字是妨碍汉语文语转换系统得到广泛应用的一个重要障碍。为了解决这个问题，通常的做法是采用在两个不同系统之间不断切换的方式。这样做的最大缺点是最后生成的语音会丧失整体的语调，由于一个句子被切分成若干段并由两个系统分别合成，人们听起来会很不舒服，甚至听不懂。微软亚洲研究院研发的“木兰”系统是第一个真正的双语系统。由于两种语言之间的切换完全在系统内进行，用木兰生成的双语语音具有非常自然的整句语调。

　　木兰区别于传统语音合成系统的另一个重要特征是，它充分兼顾了自然言语韵律特性中的全局稳定性和局部可变性。即，在不违反韵律特征的全局约束的前提下，木兰尽可能的保留了自然言语韵律中所固有的自由度。因此木兰系统合成出来的语音克服了在其它系统中常会出现的音质下降问题，如由于韵律预测模型的局限性导致的单一语调问题或由音高、音长调节算法引入的机器味和嗡嗡声。木兰系统最大程度上保持了原始音库的发音人的韵律特点，所以生成的语音听起来相当自然。在网页http://research.microsoft.com/users/minchu/Microsoft Mulan Demo.htm 上存放了一些用木兰合成的中文、英文和双语的例子，其在线演示系统在网页http://research.microsoft.com/speech/tts/上。

　　在微软公司，让未来的计算机能够听懂人类语言是我们最重要的任务之一。基于自动语音识别的输入方法将驱动多种有前途的应用。长期以来，语音识别引擎的准确度一直是使这项技术实用化的一个瓶颈。微软亚洲研究院长期致力于中文普通话语音识别系统的研发工作。我们的任务是使中文识别引擎更准确、更鲁棒。不同于西方语言的是，中文是一种带声调的语言。在中文语音识别中，区分各种不同的声调起着非常重要的作用。微软亚洲研究院在过去的五年中，研究出了多种有效的声调识别算法，并成功地以无缝连接的方式将这些算法集成到微软语音识别系统中。通过对垃圾语音、咳嗽声、嘴唇音和呼吸声的建模，我们的听写机变得更为聪明：它能区分什么是要识别的语音，什么是要忽略的杂音。为了处理在现实生活中出现的越来越多的新词，我们采用了一种自动的新词抽取算法，定期的更新我们的词表和语言模型。根据发音模型的研究结果，中文连续语音中发音的一些性质，诸如发音缩减和声调变化，都在词表中有相应的模型。值得一题的是，在建立声学模型的过程中，我们采用了中文语音学研究的相应成果，有效地优化了声学模型，这使得我们现有的引擎搜索速度提高了一倍。(这两段关于语音组的说明就是通过微软亚洲研究院的语音识别系统输入计算机的)

　　亚洲语言输入法及跨语言信息检索技术

　　多年来，语言障碍给亚洲计算机和互联网用户带来了诸多不便。作为自然语言处理领域的世界级研究团体，微软亚洲研究院自然语言计算组致力于提供一整套亚洲语言处理的研究与开发平台。我们的研究重点包括：统计语言模型，机器翻译，信息检索和统计决策。我们的技术孕育了一系列微软新一代产品和研究系统。其中，新一代中日文输入系统大大提高了计算机的可用性，在PC用户界面领域带来了技术突破。作为亚洲语言处理平台的扩展，我们正在开发一系列实用的机器翻译技术以帮助亚洲用户读写英语。在此基础上，我们的跨语言信息检索系统达到了当前技术发展的最高水平，并为微软新一代多语言因特网检索平台提供了技术基础。

　　Web分析及查询

　　近十年以来，链接分析和网页分类作为两种重要的Web结构化技术，在Web搜索中起了重要作用。为了使Web搜索更加智能化，Web结构挖掘技术持续不断地将Web搜索推进到新的高度。媒体管理组正致力于从Web中挖掘出不同的结构，包括超级链接结构，网页内部布局结构，新闻组结构，Web团体结构，从用户访问和查询日志中发现的隐式链接结构，以及hidden Web的深层次结构。对于布局结构，我们发明了一种基于视觉的方法将网页自动分割为语义块，并且找到了许多新方法对它们的重要性进行建模。通过对网页的这种详细分析，我们可以显著提高“查询扩展”，“图像检索”以及“网页分类”等许多传统的搜索技术的性能。对于深层次结构挖掘，我们开发了多项新技术来解析和理解深层网站的结构，从自动学习到全局的结构、界面结构以及结果结构之间的映射关系，从而便于Web数据集成和深层次Web搜索。对异质Web对象进行聚类是Web挖掘的另一重要方面。现有的聚类算法对各种数据对象单独进行聚类，不同数据对象之间的关系通常没有予以考虑，或仅仅被作为静态特征空间与对象的属性一同处理。我们开发了一种崭新的聚类算法以处理多种类型的数据对象，名为ReCoM（即多类型互联数据对象的互增强聚类）。在这种算法下，数据对象之间的关系被用于一个迭代增强的过程，不断改进他们的聚类效果。这些Web分析和挖掘技术对于Web结构化起着重要作用，而且将推动下一代的网络计算。

　　SMART编码技术

　　SMART是自扩展的媒体自适应和鲁棒传输（Scalable Media Adaptation and Robust Transport）的缩写, SMART媒体编码和流化技术是网络多媒体组目前正在从事的一个重要的研究项目, 它包括两个方面的内容：媒体编码技术和媒体流化技术。SMART媒体编码是一个自扩展的编码技术，其产生的码流不需要任何的转码就可以适用于各种不同网络带宽的应用。由于采用了多环预测和误差传递控制技术，SMART媒体编码的编码效率比MPEG-4标准的相关技术高2dB。它也提供了一个分层的码流结构（基本层和增强层），便于在传输中采用不同的出错保护。另外SMART媒体的增强层有很强的容错能力，它能够隔离在传输过程中产生的错误并逐渐恢复。SMART媒体流化是为了充分发挥SMART媒体的特性而开发的传输技术。它能够通过检测网络的丢包率和传输时间来准确估计网络的带宽及其变化，从而使得传输的码流能适合当前的网络带宽。另外，为了更好的保护重要的数据，基本层采用了出错保护技术来减少丢包率，而且也采用自动重传技术，服务器能够根据自动重传请求迅速调整增强层的数据率来避免网络拥塞。

　　无线智能漫游技术

　　未来的无线因特网将包括各种不同类型的无线网接入技术。不同类型的无线网将提供不同网络速度和覆盖范围，例如无线广域网(WWAN)和无线局域网（WLAN）。因此，如何在这些异构的无线接入网之间提供无缝的漫游服务也就成为一项颇具挑战性的工作。IETF提出的移动IP可以实现在用户漫游的同时保持其现有的连接不被中断。但是，移动IP技术是一种基于网络基础架构的方案。每一个发向移动节点的网络报文都需要通过一个被称为Home Agent的路由器进行隧道转发(MIPv4中还需要再被Foreign Agent转发一次)。由于所有的Home Agent和Foreign Agent都要被额外地加入到现有的网络架构中，移动IP会面临实际系统部署问题。另外，由于Home Agent (Foreign Agent) 同时也参与网络报文的转发过程，所以当移动结点的数目很大时，这些Agent有可能成为网络的瓶颈。微软亚洲研究院提出了一种全新的端对端的无缝移动管理解决方案：ProFITS。ProFITS集成了两方面的技术：无线链路管理器(Connection Manager)和虚拟连接管理器(Virtual Connectivity Manager)。无线链路管理器能够智能地监测无线网络状态的变化，例如用户移入或移出WLAN的覆盖范围，并帮助用户决定使用无线链路的最佳方案。虚拟连接管理器则能够在用户移动的同时，端对端地无缝保持网络连接的持续性。在ProFITS系统中，无线链路管理器通过对MAC层和物理层信号的检测能够准确地获得当前网络的状态，因而有效地减少链路切换决策的错误率，并抑制所谓的“乒乓效应”。虚拟连接管理器不需要任何网络基础设备的支持，它能够使得网络的切换对上层应用透明，同时也能够很好地处理网络地址翻译（NAT）和通信终端同时移动的情况。ProFITS系统能够智能感知，并主动地对用户移动事件进行反应，从而可以无缝地保持现有连接不被中断。作为一个端对端的技术，它可以同时应用在IPv4和IPv6网络中。

　　多媒体信息分析及构建技术

　　互联网和数字存储技术的快速发展造成多媒体信息的爆炸性增长。微软亚洲研究院研制的基于内容的多媒体信息分析，构建，摘要及检索技术能够使用户有效地管理并访问他们想要的多媒体信息。其中，有一项突破性技术就集成了影像、音频、动画分析以及机器学习功能，由此能够将视频节目中最精华的事件、结构和概要提取出来。其中，自动电影是一种自动化的家庭视视频编辑技术，它能够让普通用户从自己拍摄的录像中制作出准专业的视频节目。通过集成机器自动学习、影像内容分析、对象侦测、网页结构解析、数字墨水以及日志分析等功能，我们开发出了一个革命性的网页多媒体搜索引擎，用户能借助它实现对互联网上海量图像的有效检索。

　　同心拼图技术 (Concentric Mosca)

　　基于图像的绘制(IBR)是计算机图形的一个重要研究方向，它可以从图像中重建具有照片真实感的虚拟场景。在IBR中，虚拟视点是用全光函数来描述的。完整的全光函数是一个7维表达，需要大量的数据。光场 (Lightfields) 技术把全光函数缩小到了4维表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术有效的解决了这些问题，使得数据采集变得非常简便，并且是以3维的形式表达，从而提供了很好的应用前景。除了图像的数目，采集同心拼图和采集全景图一样简单。把照相机光心向外在一个悬臂上旋转一圈，就可以即刻完成真实场景数据的采集。和全景图类似，同心拼图的绘制不需要场景的几何信息，但同心拼图却提供了更丰富的三维漫游体验：你可以在一个圆形的区域内自由地行走，同时观察到三维遮挡关系和光影变化。由于采用了3维的全光函数表达，和光场技术相比，同心拼图的数据量大为减少。

　　数字卡通及动画

　　未来的计算机不仅能听、会说，而且能看、会画。数字卡通自动生成技术就是微软亚洲研究院针对上述目标所开展的研究之一。在过去的三年里，我们从基于统计学习和样本分析的方法入手，初步研究出如何教会计算机向人类艺术家学习绘制卡通画的先进方法。运用我们的方法，计算机可以根据人脸的正面照片来自动生成栩栩如生的线条画以及相应的表情动画。在我们的方法中有两个关键技术，即：非参数化采样方法和灵活的线条画模板。对于给定图像上的任意像素点及其邻域，我们通过在样本空间搜索并匹配所有的相似邻域来计算该像素点在相应的线条画上出现的条件概率；然后根据艺术家的风格和得到的条件概率绘制“期望的线条画”；最后生成高质量的正面人脸线条画。我们已就该技术在世界顶级学术会议和学术期刊上发表了十余篇高水平的学术论文；不仅如此，通过和MPD Japan（设在日本的微软产品开发部）的密切合作，数字卡通及动画的研究成果已经成为微软公司的产品Cartoon Wizard，以及Office Outlook日文版的四个最新关键技术之一。在日本的销售量大约是每年八百万份拷贝。

　　细微几何的的建模/渲染

　　物体表面细节的真实感建模和渲染是计算机图形领域的一个重要研究方向。图形硬件的广泛应用正使得这个领域发生根本性的变化。在过去的五年里，我们在表面细节渲染领域的研究已在图形学界取得领先地位。其中很重要的一个研究方向是双向纹理函数(BTF)，它把真实世界的表面细节描述为一个和光照及视点相关的6维函数。我们在此领域引领的技术包括BTF真实数据的采集、在任意表面上BTF数据的合成以及BTF的硬件加速绘制。针对细微结构的轮廓在BTF的渲染中不能体现的问题，我们开发了基于视点的位移映射(VDM)技术得以解决，VDM同时也解决了长期困扰图形界的一个难题：实时的位移映射。我们的技术能够成功地绘制以往技术难以绘制的物体，包括羽毛、毛衣、海水等等。其中的一些技术已经转化为微软公司的产品。