上海影戏学院在盘算机视觉国际顶会CVPR2025上揭晓研究效果

宣布时间:2025-03-11投稿:王超 部分:上海影戏学院 浏览次数:

克日,,,,,上海影戏学院影视工程系谢志峰、李梦甜西席团队的研究事情《FilmComposer: LLM-Driven Music Production for Silent Film Clips》乐成被盘算机视觉国际顶级学术聚会 The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2025(CVPR)任命,,,,,这是继去年AI音效天生立异效果SonicVisionLM(CVPR 2024)后,,,,,团队在大模子赋能影视创造研究中取得的又一个突破,,,,,也是威廉希尔上海影戏学院手艺与艺术深度融合的最新效果。。。。

CVPR作为中国盘算机学会推荐的A类国际顶级聚会,,,,,在盘算机视觉领域具有高度国际影响力,,,,,其所收录论文不但代表该领域最前沿的手艺突破,,,,,更一连引领学科生长偏向。。。。凭证权威的Google Scholar Citation最新统计,,,,,CVPR的H5-index为440,,,,,位列全球出书物第二名,,,,,仅次于《Nature》,,,,,工程与盘算机类出书物第一,,,,,泛人工智能领域第一。。。。

本研究首次引入AIGC手艺实现影戏配乐自动天生,,,,,可以显著优化影戏配乐制作流程,,,,,降本增效,,,,,同时引发创作潜能。。。。详细来说,,,,,论文通过大模子驱动与智能体协同,,,,,提出了可控的配乐天生框架FilmComposer,,,,,模拟了音乐家真实的配乐历程,,,,,可以有用嵌入现实音乐制作管线,,,,,具备强交互性和高创作自由度。。。。在手艺上针对配乐与影片同步生长的难题,,,,,以及配乐的影视级品质、强音乐性要求,,,,,最终实现了配乐与影片在语义、节奏、希望等方面的有用对齐,,,,,以及对配乐音质和专业性的大幅增强。。。。论文要领在天生音乐的质量、音画一致性、富厚度和音乐性方面都抵达了领先水平。。。。同时,,,,,论文为学术社区孝顺了果真的高质量的影戏配乐数据集MusicPro-7k,,,,,7418个自力条目,,,,,每个条目包括一对影戏片断和配乐、文本形貌、主旋律和节奏点。。。。

论文原文、代码和数据集详见项目主页:https://apple-jun.github.io/FilmComposer.github.io/(项目主页展示了经典影片的配乐天生效果示例)。。。。该论文的学生一作为何其乐,,,,,数字媒体创意工程硕士研究生二年级在读 ;;;;;;学生二作为朱幼佳,,,,,数字媒体创意工程硕士研究生一年级在读。。。。

640.jpg

FilmComposer示意图:三个主要?????榛治泳醮χ贸头!⒔谧嗫煽氐囊衾痔焐W印⒍嘀悄芴迤拦辣嗲牖煲,,,,,输入的影戏片断依次通过这些?????,,,,,最终获得一段波形音乐输出。。。。三个内含曲谱的蓝色块展示了完整的音乐制作历程,,,,,从打点,,,,,到作曲,,,,,编曲和混音。。。。

西席团队先容:

640 (1).jpg

谢志峰,,,,,工学博士,,,,,现为威廉希尔上海影戏学院影视工程系、上海影戏特效工程手艺研究中心副教授,,,,,博士生导师,,,,,主要研究偏向为盘算机图形学、盘算机视觉。。。。中国影戏电视手艺学会影戏高新手艺专业委员会委员,,,,,中国盘算机学会CAD/CG专委会执行委员,,,,,国际期刊The Visual Computer编委。。。。

肩负国家自然科学基金、上海市科委科技攻关、上海市教委科研立异等二十余项,,,,,揭晓高水平论文40余篇,,,,,其中国际顶级期刊与聚会论文15篇,,,,,出书专著1本,,,,,申请国家发明专利和软件著作权18项,,,,,曾赴香港都会大学盘算机科学系作会见学者,,,,,荣获2014年上海市科技前进二等奖,,,,,2017年威廉希尔蔡冠深优异青年西席奖,,,,,2022年中国盘算机图形学大会最佳论文奖,,,,,2022年上海市教学效果二等奖,,,,,2023年CAD/Graphics 2023国际学术聚会最佳论文奖及2024年威廉希尔优异本科生全程导师。。。。

640 (2).jpg

李梦甜,,,,,工学博士,,,,,博士后,,,,,现威廉希尔上海影戏学院、上海影戏特效工程手艺研究中心讲师。。。。主要研究偏向为面向影视、游戏与艺术领域的数字内容明确与天生。。。。以第一/通讯作者揭晓CCF A/SCI-Q1论文10余篇,,,,,国家授权专利多项。。。 ;;;;;;馛AD/Graphics 2023国际学术聚会最佳论文奖,,,,,Chinagraph 2024电子剧场优异手艺奖。。。。

主持国自然青年科学基金,,,,,上海市科委“科技立异行动妄想”面上基金,,,,,加入国家重点研发妄想、国家社科重大、国自然面上基金(4项)。。。。担当盘算机视觉国际顶级聚会及期刊 CVPR、ICCV、ECCV、ICLR、ICML、NeurIPS、TPAMI、TIP等审稿人,,,,,国际期刊The Visual Computer期刊编委。。。。任中国盘算机学会CAD/CG专委会执行委员(秘书处成员),,,,,图形学与混淆现实GAMES执行委员,,,,,CSIG数字娱乐与智能天生专委会、三维视觉专委会、多媒体专委会执行委员。。。。

640 (3).jpg

何其微,,,,,影戏制作专业硕士,,,,,高级录音师,,,,,现为威廉希尔上海影戏学院西席。。。。资深影戏音效设计师,,,,,美国音效剪辑师协会(MPSE)会员,,,,,音频工程学会(AES)会员。。。。

在影视声音设计领域具有富厚履历,,,,,曾加入多部国际影视作品的声音制作,,,,,获美国音效剪辑工会奖(金卷轴奖)最佳声音设计提名、五大洲国际影戏节最佳声音设计奖。。。。作品包括艾美奖入围作品《Ctrl Alt Delete》、好莱坞访谈系列《Behind the Spotlight》、Netflix惊悚剧场作品《Till Death Do Us Part》等。。。。

【网站地图】【sitemap】