介绍
为了使计算机系统以类似人类的方式分析文本的主题,它们使用 自然语言处理(NLP),这是一种 AI 中处理理解书面或口语语言并进行相应回应的领域。 文本分析 描述从非结构化文本中提取信息的 NLP 进程。
一些常见的 NLP 文本分析用例包括:
- 语音转文本和文本转语音的转换。 例如,生成视频字幕。
- 机器翻译。 例如,将文本从英语翻译为日语。
- 文本分类。 例如,将电子邮件标记为垃圾邮件或非垃圾邮件。
- 实体提取。 例如,从文档中提取关键字或名称。
- 问题解答。 例如,提供“法国的首都是哪里?”等问题的答案
- 文本摘要。 例如,根据多页文档生成一个简短的单段摘要。
从历史上看,NLP 一直具有挑战性,因为我们的语言很复杂,计算机很难 理解 文本。 在本模块中,你将了解 AI 的发展,特别是 NLP 如何导致我们今天使用的模型。
接下来,让我们研究一些用于执行文本分析和其他 NLP 任务的一些一般原则和常见技术。