共计 6517 个字符，预计需要花费 17 分钟才能阅读完成。
这篇文章主要介绍了软件开发的十个关键点是什么的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇软件开发的十个关键点是什么文章都会有所收获，下面我们一起来看看吧。
1 显式 \ 隐式反馈数据的充分运用
数据是一切推荐系统的基础。良好的推荐效果一定是来自于丰富而准确的数据。这些数据既包括了用户（user）和待推荐物品（item）相关的基础信息（注：item 和具体的推荐场景相关，可以是商品、影片、音乐、新闻等，如果是进行好友推荐，那么 item 也可以是 user 本身），另一方面，user 和 item 之间在网站或应用中发生的用户行为和关系数据也非常重要。因为这些用户行为和关系数据能真实的反映每个用户的偏好和习惯。采集这些基础数据，并做好清洗和预处理，是整个推荐系统的基石。
用户行为数据，又可细分为两部分：显式反馈数据（explicit feedbacks）和隐式反馈（implicit feedbacks）数据。显式反馈是指能明确表达用户好恶的行为数据，例如用户对某商品的购买、收藏、评分等数据。与之相反，隐式反馈数据是指无法直接体现用户偏好的行为，例如用户在网站中的点击、浏览、停留、跳转、关闭等行为。通过挖掘显式反馈数据能明确把握用户的偏好，但在很多应用中，显式反馈数据通常很稀疏，导致对用户偏好的挖掘无法深入。这个问题在一些刚上线的应用、或者偏冷门的物品或用户身上反映尤其明显。在这种情况下，用户的隐式反馈数据就显得尤为重要。因为虽然用户在网站中的点击等行为很庞杂，但其中蕴藏了大量信息。在 2006-2008 年间进行的国际著名推荐竞赛 Netflix Prize 中，冠军队成员 Yehuda Koren 发现将用户租用影片的记录，转换为特征向量注入奇异值分解算法（SVD）用于影响用户兴趣向量，能够很好的提高推荐准确率。
基础数据的预处理对推荐效果的提升也非常有帮助。以今年的 KDD-Cup 国际数据挖掘竞赛为例，训练样本中，负样本的数量居然达到了总样本数量的 92.82%，但是通过仔细分析这些负样本，发现其中有大量样本存在噪音，通过一系列的 Session 分析和筛选方法，从中保留了 11.2% 的样本进行后续推荐挖掘，不仅成功提高了推荐精度，而且大大减少了运算量。所以充分利用各类显式和隐式数据，并做好数据的预处理，保证输入数据的质量，是第一个关键点。
2 多模型融合技术
经过多年的发展，很多种推荐算法被提出来。常见的推荐方法，从大类上分，有基于历史行为（Memory-based）的方法、基于模型（Model-based）的方法、基于内容（Content-based）方法等。在 Memory-based 方法这个方向，又可进一步细分为基于物品的协同过滤算法（item-based collaborative filtering）、基于用户的协同过滤算法（user-based collaborative filtering）、关联规则（association rule）等；Model-based 方法常用的包括 Random Walk、pLSA、SVD、SVD++ 等。每种方法在具体实施时，针对不同的问题又有很多不同的实现方案，例如在基于物品的协同过滤算法（item-based collaborative filtering）中，item 之间相似度计算公式（Similarity）也可能有很多很多种变化。
在系统推荐的结果以外，还有一类传统的方式是通过专家进行推荐。这些专家可以是一些有经验的编辑，也可以是社区中意见领袖等。这些领域专家推荐的结果，在很多实际应用中，可以作为算法推荐结果的有益补充。
事实上，在实践中并没有任何一种方法在实践中始终占据压倒性的优势，它们各有千秋，分别有其各自合适的应用场景，因此因地制宜根据不同的场景，挑选不同的方法，并有机的结合起来，能让推荐效果得到极大的提升。常见的融合方法包括 Restricted Boltzmann Machines（RBM）, Gradient Boosted Decision Trees（GBDT），Logistic Regression（LR）等，这方面历次推荐竞赛中有很多相关文章，可以看到为了提升推荐效果，将不同算法的结果能够取长补短，各自发挥价值，是极为有效的。
3 时间因素的运用
用户的行为是存在很强的时间规律的。例如通常我们中午要吃饭、周末会休假、过年会回家团圆等等。用户在各个应用中的行为也同样有规律可以挖掘，用好时间这个特征，在很多推荐场景下，会对推荐效果的提升有很大的帮助。
用户行为日志中，行为发生的时间戳（timestamp）通常都会被记录。这个时间戳能从 user 和 item 两方面来进行分析。从 user 的角度来看：user 的兴趣往往会随着时间不断变化，几年前的兴趣和当前的兴趣可能是不同的；另一方面，user 的行为也存在一定的规律，例如工作日的行为是类似的，而在周末里 user 的行为也会变化，甚至在同一天中，上午和晚上的 user 行为和偏好也会有各种不同的规律。
从 item 的角度来看，流行度随着时间会有规律性的波动，通过持续挖掘 user 与 item 之间的行为在一段时间内的记录，往往能够发掘出这种规律，并进而用于指导我们预测 user 在后续某个时刻的行为，提高推荐的准确率。
时间因素的一些常见处理方案包括：1）在协同过滤计算 user 或者 item 相似度的公式中，增加时间因子，发挥相近时间的作用；2）将时间离散映射到自然月、周、日、小时等时间片中，并分别进行统计计算，并进而将累积的数据用于特定的回归模型（Regression models）中，指导结果预测；3）将时间作为线性连续变量，用于训练模型参数等。
4 地域属性在特定场景的使用
有一些推荐场景是和用户所处地域密切相关的，尤其对一些 LBS、O2O 的应用来说，一旦离开地域这个特征，那么智能推荐的效果根本就无从谈起。例如当需要推荐一个餐馆时，如果不考虑用户当前所在的位置，那么即使某餐馆和当前用户的口味匹配度非常高，但远在天边，这个推荐也是毫无价值的。
目前推荐系统在地域特征的使用还停留在较为原始的状态，通常需要让用户手工筛选推荐结果所在的区域（如省、市、区、县等），或者指定若干半径范围内的结果。这种方式不仅操作繁琐，而且缺乏对地域信息的细致分析。例如地点 A 和 B 的地图直线距离虽然较远，但两点间有地铁直接往返，而另一地点 C 虽然地图直线距离 A 很近，但两点间需要绕行交通不便。另外从用户角度来说，每天活动的地域总是存在规律的，例如工作日白天，往往活动区域在工作地点附近，夜晚的时间会在家附近等。
在基于地理位置信息的应用中，需要更聪明的挖掘用户对地域的偏好（而且这种偏好往往和时间紧密联系），例如在基于用户的协同过滤中，将类似地域用户活跃用户的行为，作为推荐的依据，即认为活动地域相似的用户，可能存在一定相同的偏好。或者使用基于物品的协同过滤思想，在计算 item 之间相似度时引入地域特征。在 Latent Factor Model 中，将用户的活动地域作为隐式反馈来作用于用户特征向量等，都是可行的方案。
手机是进行基于地域信息推荐的最好载体，随着移动互联网应用越来越普及，期待未来有更多基于地域信息的推荐产品的问世。
5 SNS 关系的使用
社交网络近年来得到了突飞猛进的发展，用户不再是单纯的内容接收者，而是能够主动的建立用户之间的关系。这些关系，可以划分为显式关系（explicit relations）和隐式关系（implicit relations）。显式关系指的是用户已明确建立的相关关系，例如在微博中关注 / 被关注某人等，或者在社区中加为好友等。而隐式关系指用户之间存在一些互动行为，但这些行为不能明确指示用户间的关系。例如用户在微博中点击、评论、转发另一个用户的帖子，如果在网络游戏世界中另一个玩家交谈，或者 PK 等。隐式关系虽然并不如显式关系那样明确，但比显式关系要丰富的多。所以在一些对推荐精度要求很高的应用场景下，显式关系需要发挥主要作用；而对一些需要提高推荐召回率和推荐结果多样性的场景下，尤其是当显式关系面临数据稀疏性的问题时（注：这个问题在推荐应用中普遍存在），充分利用隐式关系能起到非常好的效果。以今年的 KDD-Cup 竞赛为例，在腾讯微博的好友推荐系统上，我们通过在 SVD++ 模型中增加隐式关系，处理数据稀疏性的问题，能够将推荐准确率提升 5.5%
此外，移动互联网的普及，让 SNS 关系使用起来更加便捷，而且加上地域信息，产生了像微信这样新颖的移动应用，而 SNS 关系和地域特征的结合使用，一定会让推荐系统也产生出更受欢迎的结果。
6 冷启动问题处理办法
冷启动是推荐系统最为悠久的一个问题，伴随推荐系统诞生至今。这是因为推荐系统效果提升的关键天然在于数据，而当新用户、或新物品等刚上线时，由于积累的数据极为稀少，大量方法在最初这段时间难以生效。
冷启动问题又可细分为 user 冷启动或者 item 的冷启动。user 冷启动在一些场景普遍存在，例如在一些短视频网站，由于 user 没有登录浏览的习惯，因此大量来访用户都是陌生的 cookie 用户，如何对这些 user 进行推荐是至关重要的。常见的思路包括：1）采用热门推荐（排行榜）结果。虽然排行榜是一个看似简单的方法，但设计良好、的排行榜并不如想象中简单，排行榜如何计算，基于哪些统计特征，都是值得深究的。2）充分利用有限的用户信息来迅速捕捉偏好。例如用户的来源 ip、访问时间、最初点击的几个结果的属性，都需要被充分运用。3）为新用户设置简单的口味测试，根据用户提交的答案主动收集用户偏好。常见的方案包括为提供一些预先精心设计的选项，通过用户的选择迅速建立用户模型。在设计选项时，一些注意点包括：A）必须要有代表性的选项；B）选项需要相对热门，或有一定的用户知名度；C）选项之间要有区分度。
item 冷启动的问题在一些 item 频繁更新的应用中普遍存在，例如一些电子商务网站会不断上架新商品，这些新商品由于缺少点击，很难进行推荐。但基于内容的方法（content-based）往往此时能发挥关键作用。根据 item 的类别、标签、关键词等初始特征，能计算 item 之间的关联度。尽管很多对比评测表明，基于内容的推荐算法往往推荐精度不够高，但这种方法在处理 item 冷启动时有先天的优势，所以在工程实践中可以注意使用。
7 推荐结果的展现方式
推荐系统绝不仅仅局限于推荐算法和架构，而是一个完整的系统。其中推荐结果的展现方案是这个系统中极为重要的一环，开发一个推荐系统时，这个环节往往被工程师们忽略，但推荐结果最终呈现给用户的位置、提供哪些信息，往往起到举足轻重的作用。
这里需要注意的关键点包括：1）不同 item 的推荐，由于用户关注点不同，展现的方案也需要不同，要尽量凸显出用户的关注重点。例如推荐一个服饰时，缩略图对用户的点击意愿起到极为重要的作用；而推荐服务类商品时（例如旅游线路），天数、价格、是否优惠等信息，才是用户关注的重点；2）推荐展示的场景和位置，需要符合用户的行为习惯。求职社交网站 LinkedIn 的对比实验表明，在用户申请完一个工作的之前或之后分别展示推荐结果，前者的点击率是后者的 10 倍。在网页正中或右侧边栏放置推荐结果，点击率也相差 5 倍之多。
在展现方式中，另一个极为重要的方面是提供推荐理由。因为通过展现推荐理由，能够赢得用户的信任，进而让用户更容易接受推荐给他的结果。例如直接为 A 用户给出一个猜她喜欢的视频 V，可能很难信任。但如果同时给出推荐理由：“和你口味相似的 B 和 C 都收藏了该视频”，那么能很好的提升用户的信任感。另外，推荐理由本身也是对推荐结果的一个良好的补充描述。例如推荐一本小说，按传统方案只提供小说名称、封面，读者很难获取足够的信息，但如果提供推荐理由：“本周销售量最多”或者“起点白金作家 XXX 最新作品”，对提升推荐成功率有很大的帮助。
合适的推荐结果的展示方案，需要技术、产品、UI、UED 等充分结合，对用户需求和用户心里有细致入微的把握，往往能起到事半功倍的效果。
8 明确优化目标和评估手段
开发一个初步可用的推荐系统并不难，难的是如何在原有推荐效果的基础上精益求精，更进一步。优化目标和评估手段的确定是解决这个问题的关键所在。首先需要确定系统的优化目标。例如有些推荐系统追求推荐结果的点击率；有些则还考虑点击后的实际转化或成交效果；有些推荐场景更关注推荐结果的新颖性，即希望更多的将本站新收录的物品展现给用户；另一些则更重视结果的多样性。
在推荐系统的目标明确后，随之而来的问题是，如何量化的评价这些推荐目标？传统的评分预测问题通常使用均方根误差（RMSE）或者平均绝对误差（MAE）等计算方法。但在实际应用中 Top- N 推荐更为常见，这种场景下 NDCG(Normalized Discounted Cumulative Gain) 或 MAP（Mean Average Precision）是普遍使用的衡量方法。
由于推荐系统经常借鉴相关领域的一些技术，如广告学或搜索系统，因此计算广告学中的 pCTR 或者搜索系统的 Precision-Recall 曲线等也经常用于评估推荐效果的优劣。有些系统甚至直接将推荐系统转化为一个机器学习问题，评估手段也随之转化为对应问题的方法。
实际系统中，往往是多个指标（点击率、准确率、覆盖率、多样性、新颖性等）共同作用，并且按照产品的实际需求，加权折衷后进行结果评测。测试方法也有线上 A /B Testing 以及人工评测等。无论采用何种方法，一个成熟的推荐系统一定要建立在明确的优化目标和评测系统之上，它们像一把尺子，丈量着推荐系统每次前进的脚步。
9 时效性问题
正所谓“天下武功，唯快不破”，推荐系统要能及时捕捉用户需求的变化，反馈到模型中，并及时响应用户请求，实时提供在线服务。因为用户是挑剔的、也是缺乏耐心的，新用户尤其如此，如果一个推荐系统无法在较短的时间内调整结果以迎合用户，那么用户会迅速流失。
推荐系统的时效性首先体现在能灵敏捕捉用户反馈，这些反馈既包括正反馈（用户喜爱），也需要收集负反馈（用户不感兴趣的）。很多推荐系统往往忽略了负反馈样本的收集，而事实上，有效的收集用户的正负反馈，并进行对比训练，能够更全面准确的掌握用户偏好。
在用户反馈收集的基础上，还需要能够及时更新后台的推荐模型。很多推荐系统后端的用户模型和物品模型，都需要通过大量用户日志来进行挖掘运算，计算开销大，所以一个设计良好的推荐系统，需要将离线挖掘和在线服务系统进行有机的结合。离线系统可以设计得比较“厚”，即算法复杂，模型庞大，更新缓慢。而在线系统则倾向于设计得轻巧灵活，能及时将捕获的正负反馈信息传递进来，修改在线模型，捕获用户短期兴趣变化，从而快速修正推荐结果。
10 大数据挖掘和性能优化
大数据挖掘是近年来的研究热点，得益于分布式计算技术的广泛使用，系统吞吐的数据规模越来越大，离线数据挖掘的能力也越来越强，处理大量用户行为数据变得越来越便捷。但在推荐挖掘中，系统能够提供的运算能力和实际的运算需求之间，始终存在矛盾，所以如果有效合理的分配运算资源十分重要。这里需要在挖掘深度上进行合理的分配。对重点的用户或者 item，可以分配更多的资源，进行更深入的挖掘。对基础数据也是如此，高质量的数据可以用于更详细的分析，而低价值的数据可能只需要简化处理流程。
后端的离线系统往往还需要定期更新模型，这里模型的全量或增量更新方式也是一个值得关注的点。以用户模型为例，并非所有用户的个性化模型都需要频繁更新，活跃的、高贡献值的用户，应该需要更频繁的予以更新。对 item 也类似，热门 item 和冷门 item 更新技术的周期可以不同。在大数据推荐系统的性能优化方面，还有一些常用的技巧，例如倒排索引的使用，cache 机制的充分运用等。
关于“软件开发的十个关键点是什么”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“软件开发的十个关键点是什么”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注丸趣 TV 行业资讯频道。
