人才招聘网站大全,重庆手机网站推广价格,个人可以建设网站吗,wordpress菜单显示在哪尝试用文心实现褒义词贬义词快速分类 一、我的需求二、项目环境搭建千帆SDK安装及使用流程 三、项目实现过程创建应用获取签名调用接口计算向量积总结 百度世界大会将于10月17日在北京首钢园举办#xff0c;今天进入倒计时五天了。通过官方渠道的信息了解到#xff0c;这次是… 尝试用文心实现褒义词贬义词快速分类 一、我的需求二、项目环境搭建千帆SDK安装及使用流程 三、项目实现过程创建应用获取签名调用接口计算向量积总结 百度世界大会将于10月17日在北京首钢园举办今天进入倒计时五天了。通过官方渠道的信息了解到这次是百度向公众和产业交出的一份“年度AI成绩单”其中一项备受关注的演讲是李彦宏先生将分享「手把手教你做AI原生应用」进行一小时的“现场教学”。有消息称文心一言4.0版本也会在这场大会上发布升级后的新变化还是比较期待体验的。 从文心一言推出围绕着它的的体验、实践有很多今年3月百度还推出了“千帆大模型平台” 据称是全球首个一站式的企业级大模型平台提供包括文心一言在内的大模型服务及第三方大模型服务包括ErnieBot、 ErnieBot-turbo、BLOOMZ-7B、Embedding-V1、Qianfan-BLOOMZ-7B-compressed以及Qianfan-Chinese-Llama-2-7B。 这些大模型提供了Chat对话、Completions续写、Embeddings向量化、自定义模型导入以及Images图像等多种功能。用户可以通过平台提供的API进行应用开发实现自己想要的功能和应用场景。
一、我的需求 记得上中学的时候老师经常给我们讲解什么是褒义词什么是贬义词什么是中性词但是每次考试的时候同学们都记不住都会出错。我在浏览平台功能的时候正好看到千帆大模型中有Embeddings向量化的功能想着能不能搞一个【褒义词与贬义词快速分类】的功能这样老师再也不用担心我的学习了。 在开始之前我们需要了解两个概念其一是Embedding-V1它是基于百度文心大模型技术的文本表示模型将文本转化为用数值表示的向量形式用于文本检索、信息推荐、知识挖掘等场景。其二是numpy库numpy是一个广泛应用于科学计算和数据分析的Python库。它提供了高性能的多维数组对象以及许多用于操作这些数组的函数。numpy不仅提供了快速、高效的数值计算能力还提供了用于处理大型数据集和执行复杂数学运算的工具。
具体怎么做呢我的思路是这样的
将“褒义词”和“贬义词”作为基础词去Embedding-V1模型中获取向量数组将“美好的”和“肮脏的”作为测试词去Embedding-V1模型中获取向量数组利用numpy库的函数算出测试词与基础词的向量积最后利用一定规则来区分什么是贬义词、什么是褒义词
二、项目环境搭建 说干就干先把项目需要的环境搭建起来此处我用的是Python的环境。 Python 环境的安装及SDK的下载这个地方就不在赘述了直接省略有不懂得同学可以滴滴我。 安装numpy库执行命令 pip install numpy。我们此时就是想利用numpy 库中的函数实现向量点积和矩阵乘法。
千帆SDK安装及使用流程
(1)安装千帆SDK pip install qianfan 注意目前支持 Python 3.7版本。
(2)调用千帆SDK
步骤一创建应用获取应用API Key(AK) 和 Secret Key(SK)。步骤二初始化AK 和 SK。步骤三调用SDK。
具体操作步骤
三、项目实现过程
创建应用 创建一个名为【褒贬词区分】的千帆应用创建成功后获取AppID、API Key、Secret Key 等信息。
获取签名 通过应用的API_KEY和SECRET_KEY 获取应用的 access_token
def get_access_token():url https://aip.baidubce.com/oauth/2.0/tokenparams {grant_type: client_credentials, client_id: API_KEY, client_secret: SECRET_KEY}return str(requests.post(url, paramsparams).json().get(access_token))调用接口 拿到获取的 access_token 之后用“褒义词”作为基础词去Embedding-V1模型中获取向量数组剩下的几个词语获取向量数组的方法都是这个。
def get_vector_array(text):url https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/embedding-v1?access_token ***...payload json.dumps({input: [text]})headers {Content-Type: application/json}response requests.request(POST, url, headersheaders, datapayload)print(response[data][0][embedding])得到的调试向量数组格式如下
[0.08061837404966354, 0.04078327864408493, -0.09363867342472076, 0.028215458616614342, -0.0002488529426045716, 0.03429635614156723, -0.04498879984021187, -0.03798121586441994, -0.011711484752595425, -0.02145105041563511, 0.019791603088378906, -0.17122730612754822,
0.011323302052915096, 0.015307868830859661, -0.13033172488212585, -0.014496560208499432, -0.011398260481655598, 0.07101204991340637, 0.023673566058278084, 0.028881099075078964, 0.046047814190387726, -0.04538198560476303, 0.026869377121329308, -0.06881920993328094, 0.017508693039417267, -0.013237032108008862, 0.0011747998651117086, -0.0385085791349411, 0.07648546993732452, 0.055476147681474686, -0.00469418428838253, 0.07032959163188934, -0.031531669199466705, -0.02622816525399685, -0.04684654623270035, -0.002371862530708313, 0.021081145852804184, 0.08082328736782074, -0.013437628746032715, 0.0258968323469162, -0.09822260588407516, 0.08117881417274475, 0.0039118751883506775, 0.019459901377558708, 0.013869237154722214, 0.004998866003006697, -0.057127662003040314, 0.005403431132435799, -0.03721161186695099, 0.000022977143089519814, 0.007839921861886978, -0.09754340350627899, 0.006771354470402002, -0.05724136903882027, -0.0028451320249587297, 0.05861274525523186, -0.03603329509496689, -0.059220317751169205, -0.0385906845331192, 0.10700726509094238, 0.08236964046955109, -0.023739730939269066, -0.0031100588385015726, 0.07149451971054077, -0.0199934933334589, 0.037235625088214874, -0.010063654743134975, 0.0029898544307798147, -0.01747535727918148, 0.014759315177798271, 0.02163994126021862, -0.06262267380952835, -0.010288061574101448, 0.044045817106962204, 0.06931136548519135, -0.07700000703334808, -0.007435771636664867, 0.025464389473199844, -0.011003663763403893, -0.07518579810857773, -0.04184756800532341, 0.023904750123620033, 0.011393743567168713, 0.01837831176817417, -0.0886322483420372, 0.0952671691775322, -0.12693588435649872, -0.038294460624456406, 0.12494516372680664, 0.03944138064980507, 0.02252635359764099, -0.05095754563808441, -0.0012124445056542754, -0.05008591711521149, -0.0782846137881279, 0.04561040550470352, -0.015215445309877396, -0.07060899585485458, 0.10074105858802795, -0.0035771785769611597, -0.0016859406605362892, -0.0006168847903609276, -0.005897987633943558, -0.12729158997535706, 0.005399566609412432, -0.1122061163187027, -0.06463941186666489, -0.09920275956392288, 0.03346830978989601, 0.026707271113991737, 0.015697190538048744, -0.05596184358000755, -0.010395456105470657, -0.03530685231089592, 0.031741540879011154, 0.080228790640831, 0.03081914409995079, 0.07431047409772873, 0.029965108260512352, -0.0037744399160146713, -0.0901137962937355, 0.030600417405366898, 0.0031392634846270084, 0.10319962352514267, 0.004642121028155088, 0.08238579332828522, 0.06005106493830681, -0.07278252393007278, 0.05138978362083435, 0.056823115795850754, 0.004057546146214008, -0.04828854277729988, 0.09156550467014313, 0.05152333900332451, -0.11374125629663467, 0.07170815020799637, 0.06275910139083862, 0.07493220269680023, -0.0034050499089062214, 0.07737395167350769, -0.03497365489602089, -0.038866959512233734, -0.008941351436078548, 0.01303667202591896, -0.03233131766319275, 0.06729909032583237, 0.08887197822332382, 0.05096267908811569, -0.09103943407535553, 0.06260557472705841, -0.0160642359405756, 0.038234077394008636, 0.00792619027197361, -0.08433590084314346, -0.08574526011943817, 0.00002219131238234695, 0.02143322303891182, -0.04925483837723732, -0.009377656504511833, -0.049814555794000626, -0.03575558215379715, -0.035428132861852646, -0.056898653507232666, -0.03874790668487549, -0.0012135077267885208, 0.017201567068696022, -0.042181432247161865, 0.09511004388332367, -0.013392479158937931, 0.1335284262895584, -0.019908159971237183, -0.0023446588311344385, -0.0055818622931838036, 0.01297300960868597, 0.02981858141720295, -0.0035326394718140364, -0.04641216993331909, -0.005125344730913639, -0.027598926797509193, -0.044506143778562546, 0.0424048975110054, 0.06094472110271454, -0.013269977644085884, -0.022739848122000694,
0.06919900327920914, -0.012230281718075275, 0.027269702404737473, -0.029507067054510117, 0.01824810914695263, 0.026650087907910347, 0.03923342376947403, 0.05708055570721626, 0.027821602299809456, -0.01805994287133217, 0.02489103563129902, -0.002894284902140498, -0.04258480295538902, -0.04005945101380348, 0.032783474773168564, 0.004660352133214474, 0.03880106657743454, 0.07947057485580444, 0.0789344385266304, -0.07657215744256973, 0.050499022006988525, 0.016807949170470238, -0.0069297500886023045, -0.06111866235733032, 0.0590253509581089, -0.03539840131998062, -0.005932340864092112, 0.002571317134425044, 0.023904312402009964, -0.0854281559586525, 0.013114570640027523, 0.024038389325141907, -0.03864211216568947, 0.014964412897825241, 0.03544454649090767, -0.0199270136654377, -0.08245886862277985, -0.026577411219477654, 0.06511317193508148, -0.014447598718106747, 0.01838453859090805, 0.09550153464078903, 0.02454116940498352, -0.014310576021671295, 0.04404760152101517, 0.052973322570323944, -0.10075508803129196, -0.03487679362297058, 0.03173833340406418, -0.00460244994610548, -0.0739917978644371, -0.05986810475587845, 0.04747162386775017, 0.017376329749822617, 0.05890245363116264, -0.039818502962589264, 0.009928018786013126, -0.000260817410890013, 0.05027851089835167, -0.09310005605220795, -0.06347518414258957, 0.010845684446394444, -0.04205198958516121, 0.024881191551685333, 0.0043700882233679295, -0.03337865322828293, 0.01294893678277731, 0.017244484275579453, -0.015301528386771679, -0.05580389127135277, 0.0592043474316597, -0.04951205477118492, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, -0.10493233799934387, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.40346506237983704, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0.3648037612438202, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]计算向量积 调用 numpy 库中的函数对接口返回的向量数组进行计算获取向量积
def cosine_similarity(a, b):return np.dot(a, b)
#褒义词
commendatory_words get_vector_array(褒义词)
#贬义词
derogatory_term get_vector_array(贬义词)
#漂亮的
beautiful get_vector_array(漂亮的)
#肮脏的
dirty get_vector_array(肮脏的)
def get_score(embedding):return cosine_similarity(commendatory_words, embedding) - cosine_similarity(derogatory_term, embedding)if __name__ __main__:print(get_score(beautiful))print(~~~~~~~~~~~~~~~~~~~~~~~~)print(get_score(dirty))调用结果 结果解释 值为正数表示与褒义词词性相近如果值为负数表示与贬义词词性相近
总结 到这儿我的创意就全部实现了通过评分的高低我们就可以做出该词是褒义词还是贬义词的判断。当然该程序还有很大的进步空间后续可以支持多词语并发判断甚至是对一句话进行判断是表扬还是诋毁。 作为开发者我们非常期待在百度世界大会上看到最新的人工智能技术和应用案例了解行业最前沿的技术和趋势。同时我也期待通过百度世界大会与其他开发者和企业进行交流分享经验和探讨合作可能性。此外我也希望能够借此机会深入了解百度的技术和产品掌握相关技能并运用到自己的项目中实现更好的技术创新和商业价值。
