其他分享
首页 > 其他分享> > 【RAC】 RAC For W2K8R2 安装--共享磁盘的配置(三)

【RAC】 RAC For W2K8R2 安装--共享磁盘的配置(三)

作者:互联网

【RAC】 RAC For W2K8R2 安装--共享磁盘的配置(三)

【RAC】 RAC For W2K8R2 安装--共享磁盘的配置(三)

一.1  BLOG文档结构图

wps3FAD.tmp 

 

 

一.2  前言部分

 

一.2.1  导读

各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~:

① RAC for windows 2008R2 的安装

② rac环境下共享存储的规划和搭建

③ starwind软件的应用

④ VMware workstation 如何做共享存储

⑤ rac数据的静默安装和dbca静默建库

⑥ rac数据库在windows环境下的卸载

⑦ windows 2008R2的学习

⑧ windows环境双网卡下IP地址的配置

 

 

注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread 2的最大归档日志号为43是需要特别关注的地方。

  List of Archived Logs in backup set 11

  Thrd Seq     Low SCN    Low Time            Next SCN   Next Time

  ---- ------- ---------- ------------------- ---------- ---------

  1    32      1621589    2015-05-29 11:09:52 1625242    2015-05-29 11:15:48

  1    33      1625242    2015-05-29 11:15:48 1625293    2015-05-29 11:15:58

  2    42      1613951    2015-05-29 10:41:18 1625245    2015-05-29 11:15:49

  2    43      1625245    2015-05-29 11:15:49 1625253    2015-05-29 11:15:53

 

 

 

 

 

本文如有错误或不完善的地方请大家多多指正,ITPUB留言或QQ皆可,您的批评指正是我写作的最大动力。

 

 

一.2.2  相关参考文章链接

 

linux 环境下rac的搭建:

一步一步搭建 oracle 11gR2 rac + dg 之前传(一) http://blog.itpub.net/26736162/viewspace-1290405/  

一步一步搭建oracle 11gR2 rac+dg之环境准备(二)  http://blog.itpub.net/26736162/viewspace-1290416/ 

一步一步搭建oracle 11gR2 rac+dg之共享磁盘设置(三) http://blog.itpub.net/26736162/viewspace-1291144/ 

一步一步搭建 oracle 11gR2 rac+dg之grid安装(四)  http://blog.itpub.net/26736162/viewspace-1297101/ 

一步一步搭建oracle 11gR2 rac+dg之database安装(五) http://blog.itpub.net/26736162/viewspace-1297113/ 

一步一步搭建11gR2 rac+dg之安装rac出现问题解决(六) http://blog.itpub.net/26736162/viewspace-1297128/ 

一步一步搭建11gR2 rac+dg之DG 机器配置(七)  http://blog.itpub.net/26736162/viewspace-1298733/ 

一步一步搭建11gR2 rac+dg之配置单实例的DG(八)  http://blog.itpub.net/26736162/viewspace-1298735/  

一步一步搭建11gR2 rac+dg之DG SWITCHOVER功能(九) http://blog.itpub.net/26736162/viewspace-1328050/ 

一步一步搭建11gR2 rac+dg之结尾篇(十)  http://blog.itpub.net/26736162/viewspace-1328156/ 

【RAC】如何让Oracle RAC crs_stat 命令显示完整  http://blog.itpub.net/26736162/viewspace-1610957/ 

如何创建ASM磁盘  http://blog.itpub.net/26736162/viewspace-1401193/ 

linux下rac的卸载: http://blog.itpub.net/26736162/viewspace-1630145/

 

 

 

一.2.3  本系列blog简介

 

个人一直以为windows环境的rac性能不是很好,也有瓶颈,所以没有研究windows环境下的安装,不过最近一个网友问起rac for windows环境下的安装,我手痒痒就试了试安装,果然也学到了很多的知识,今天起就分为几个部分给大家分享出来,若有不对的地方还请大家指出来。

需要指出的是:文章中有的内容来源于网络,所以截图可能和安装时不太一样,但是理解了原理,安装都是一样的,若有疑问可以及时联系我,这里感谢广大网友的分享!

 

 

 

 

接上文之【RAC】 RAC For W2K8R2 安装--操作系统环境配置 (二),我们继续:

 

 

 

一.3  磁盘规划

1、磁盘规划如下表所示:

Logical Driver

LUN

SIZE

对应服务器磁盘

作用

ocr

1

2G

磁盘 1

表决磁盘,磁盘组名为 OCR

data1

2

5G

磁盘 2

数据库共享存储区 磁盘组名为 DATA

data2

3

5G

磁盘 3

data3

4

5G

磁盘 4

fra

5

5G

磁盘 5

闪回配置区,磁盘组名为 FRA

 

 

一.4  配置共享磁盘

配置共享磁盘有2种办法,2个办法都可以使用根据自己的爱好来吧。

一.4.1  方法一:采用VMware软件直接配置共享

 

一.4.1.1  添加共享磁盘

截图:

wps3FCE.tmp 

 

代码:

Microsoft Windows [Version 6.3.9600]

(c) 2013 Microsoft Corporation. All rights reserved.

 

C:\Users\Administrator>d:

 

D:\>cd D:\Program files\VMware\VMware Workstation

 

D:\Program files\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 2g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\ocr_vote.vmdk"

VixDiskLib: Invalid configuration file parameter. Failed to read configuration file.

Creating disk 'J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\ocr_vote.vmdk'

  Create: 100% done.

Virtual disk creation successful.

 

D:\Program files\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data1.vmdk"

VixDiskLib: Invalid configuration file parameter. Failed to read configuration file.

Creating disk 'J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data1.vmdk'

  Create: 100% done.

Virtual disk creation successful.

 

D:\Program files\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data2.vmdk"

VixDiskLib: Invalid configuration file parameter. Failed to read configuration file.

Creating disk 'J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data2.vmdk'

  Create: 100% done.

Virtual disk creation successful.

 

D:\Program files\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data3.vmdk"

VixDiskLib: Invalid configuration file parameter. Failed to read configuration file.

Creating disk 'J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data3.vmdk'

  Create: 100% done.

Virtual disk creation successful.

 

D:\Program files\VMware\VMware Workstation>vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\fra.vmdk"

VixDiskLib: Invalid configuration file parameter. Failed to read configuration file.

Creating disk 'J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\fra.vmdk'

  Create: 100% done.

Virtual disk creation successful.

 

D:\Program files\VMware\VMware Workstation>

 

命令:

vmware-vdiskmanager.exe -c -s 2g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\ocr_vote.vmdk"

vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data1.vmdk"

vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data2.vmdk"

vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data3.vmdk"

vmware-vdiskmanager.exe -c -s 5g -a lsilogic -t 2 "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\fra.vmdk"

wps3FCF.tmp 

 

一.4.1.2  修改虚拟机配置文件

关闭两台虚拟机,用记事本打开 虚拟机名字.wmx,即打开配置文件,2个节点都需要修改  例如: D:\rhela\rhela.vmx

 

添加以下内容,红色字体修改为自己的共享虚拟机磁盘文件路径 ,(scsix:y 表示第x个总线上的第y个设备):

rac1下:

wps3FDF.tmp 

添加以下内容:

#shared disks configure

disk.EnableUUID="TRUE"

disk.locking = "FALSE"

scsi1.shared = "TRUE"

diskLib.dataCacheMaxSize = "0"

diskLib.dataCacheMaxReadAheadSize = "0"

diskLib.dataCacheMinReadAheadSize = "0"

diskLib.dataCachePageSize= "4096"

diskLib.maxUnsyncedWrites = "0"

scsi1.present = "TRUE"

scsi1.virtualDev = "lsilogic"

scsil.sharedBus = "VIRTUAL"

scsi1:0.present = "TRUE"

scsi1:0.mode = "independent-persistent"

scsi1:0.fileName = "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\ocr_vote.vmdk"

scsi1:0.deviceType = "disk"

scsi1:0.redo = ""

scsi1:1.present = "TRUE"

scsi1:1.mode = "independent-persistent"

scsi1:1.fileName = "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data1.vmdk"

scsi1:1.deviceType = "disk"

scsi1:1.redo = ""

scsi1:2.present = "TRUE"

scsi1:2.mode = "independent-persistent"

scsi1:2.fileName = "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data2.vmdk"

scsi1:2.deviceType = "disk"

scsi1:2.redo = ""

scsi1:3.present = "TRUE"

scsi1:3.mode = "independent-persistent"

scsi1:3.fileName = "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\data3.vmdk"

scsi1:3.deviceType = "disk"

scsi1:3.redo = ""

scsi1:4.present = "TRUE"

scsi1:4.mode = "independent-persistent"

scsi1:4.fileName = "J:\My Virtual Machines\Rac for windows 2008R2\sharedisks\fra.vmdk"

scsi1:4.deviceType = "disk"

scsi1:4.redo = ""

 

一.4.1.3  重新打开VMware Workstation

关闭 VMware Workstation 软件然后重新打开rac1和rac2节点,此时看到共享磁盘正确加载则配置正确,这里尤其注意第二个节点,2个节点的硬盘配置应该是一样的

 

wps3FE0.tmpwps3FE1.tmp 

 

 

然后 开启2个虚拟机节点。

 

一.4.1.4  设置BIOS的启动顺序

添加5个共享磁盘后,启动os的时候可能报如下的错误,该错误即指示找不见启动文件,那么我们修改一下磁盘的启动顺序就可以了:

wps3FF2.tmp 

 

将鼠标定位到虚拟机内部,然后按下ctrl+alt+insert ,后出现BIOS SETUP UTILITY,我们切换到BOOT界面,将光标移动到HARD DRIVE,按enter键展开后哦将控制器0用加号键移动到第一位即可。

wps4003.tmp 

F10 保存退出即可正常启动windows系统,启动后就可以看到新添加的磁盘了。

wps4013.tmp 

 

一.4.2  方法二:采用第三方软件StarWind

一.4.2.1  starwind安装

starwind是一个服务器端软件,它把服务器上的磁盘共享出来,可以供linux的rac或windows下的rac使用,此软件安装过程很简单,这里就不再截图了,安装文件参考http://blog.itpub.net/26736162/viewspace-1624453/ ,已经放进去了,自行下载安装。

 

值得说明的是:starwind的安装位置可以是主机,也可以是虚拟出来的一台主机都可以,只要到时候rac的节点可以访问即可。

 

一.4.2.2  starwind配置

1.执行桌面的StarWind图标,启动主界面
wps4014.tmpwps4025.tmp

 


2.添加主机

wps4035.tmp 

 

 


3.主机地址127.0.0.1,如果网络还有其它主机,也是可以通过这个控制台来管理的。

wps4046.tmp 

 


4.接下来就是连接
wps4047.tmpwps4048.tmp

 


5.输入Root的密码,V.5以后root的密码都是starwind
wps4049.tmpwps404A.tmp

 


6.登录成成功,及界面

wps405B.tmp 

 


7.添加Target
wps405C.tmpwps406C.tmp

 


8.输入可分辨的名称.

wps406D.tmp

 


9.存储类型
wps406E.tmpwps407F.tmp

 


10.设备类型

wps4080.tmpwps4081.tmp 

 


11.虚拟设备类型
wps4082.tmpwps4093.tmp

 


12.创建一个新的虚拟磁盘
wps4094.tmpwps4095.tmp

 


13.虚拟磁盘路径、大小、是否压缩、是否加密。
wps4096.tmpwps40A6.tmp

 


14.支持功能模式,Asynchronous Replication等等
wps40A7.tmpwps40A8.tmp

 


15.缓存模式
wps40B9.tmpwps40BA.tmp

 


wps40BB.tmpwps40CB.tmp

 


16.相应信息,完成创建
wps40CC.tmpwps40CD.tmp

 

我自己的截图:

wps40DE.tmp 

一.4.2.3  运行iSCSI发起程序

 

1、启动iSCSI客户端

在rac1中,从“管理工具”中启动“iSCSI 发起程序”。如果是第一次启动,会有2个提示信息,全部点击确定。启动后,出现“iSCSI 发起程序 属性”窗体。

wps40DF.tmp 

wps40F0.tmp 

 

转到目标选项卡:

wps40F1.tmp 

 

点击确定后就会在磁盘管理中出现新添加的磁盘了,rac2上同理操作。

 

 

一.5  磁盘初始化

一.5.1  将所有磁盘设置成联机状态

1、分别在 rac1 和 rac2 服务器上将所有磁盘设置成联机状态,如下图所示:

wps4101.tmp 

一.5.2  磁盘初始化操作在 rac1 服务器上进行

在rac1服务器上,在磁盘1上右键,选择初始化,点击确定后:

wps4112.tmp 

wps4113.tmp 

 

已联机,然后我们在rac2上执行刷新操作即可将rac2的磁盘初始化。

wps4114.tmp 

rac2磁盘也处于联机状态:

 

wps4125.tmp 

一.6  共享存储

一.6.1  共享存储配置方法一:图形操作

1、在其中一个节点(通常是rac1)上将 5 个磁盘全部新建简单卷,注意不要分配盘符和格式化磁盘

2、全部建完后的截图如下:

wps4135.tmp 

3、此时登录到 rac2 服务器,打开磁盘管理,选择‘重新扫描磁盘’

wps4136.tmp 

4、扫描完成后,磁盘格式已经自动变成 RAW,但是系统默认为每个磁盘增 加了驱动器号,如下图所示:

wps4137.tmp 

5、此时需要删除磁盘 1 到磁盘 5 的驱动器号,选择磁盘 1,单击右键打开 ‘更改驱动器号和路径

wps4148.tmp 

6、选中驱动器号 H,单击删除

wps4149.tmp 

 

7、其他 4  个磁盘按照上述操作删除各自的驱动器号,删除完成后,rac2 服务器的截图如下:

wps4159.tmp 

8、启用Automount (All Nodes)

进行命令行窗口,运行:

C:\> diskpart

DISKPART> AUTOMOUNT ENABLE

一.6.2  共享存储配置方法二:命令操作

 

1、启用Automount (All Nodes)

进行命令行窗口,运行:

C:\> diskpart

DISKPART> AUTOMOUNT ENABLE

2、清除分区 (首次创建不操作)(Node 1)

DISKPART> LIST DISK

DISKPART> select disk 1

DISKPART> clean all

DISKPART> select disk 2

DISKPART> clean all

DISKPART> select disk 3

DISKPART> clean all

DISKPART> select disk 4

DISKPART> clean all

DISKPART> select disk 5

DISKPART> clean all

3、创建扩展分区和逻辑分区(MBR分区)(Node 1)

DISKPART> select disk <N>

DISKPART> create part ext

DISKPART> create part log

4、清除卷标(Node 2)

DISKPART> select vol <N>

DISKPART> remov

5、创建的分区和卷(All Nodes)

DISKPART> list disk

DISKPART> list vol

 

6、盘标记为ASM磁盘 (Node 1)

D:\grid\asmtool>asmtoolg

 

 

一.6.3  我的操作过程--采用的是命令行的方式

rac1上操作:

Microsoft Windows [版本 6.1.7601]

版权所有 (c) 2009 Microsoft Corporation。保留所有权利。

 

C:\Users\Administrator>diskpart

 

Microsoft DiskPart 版本 6.1.7601

Copyright (C) 1999-2008 Microsoft Corporation.

在计算机上: rac1

 

DISKPART> AUTOMOUNT ENABLE

 

已经启用自动装载新卷。

 

DISKPART> LIST DISK

 

  磁盘 ###  状态           大小     可用     Dyn  Gpt

  --------  -------------  -------  -------  ---  ---

  磁盘 0    联机               40 GB      0 B

  磁盘 1    联机             2048 MB  2046 MB

  磁盘 2    联机             5120 MB  5118 MB

  磁盘 3    联机             5120 MB  5118 MB

  磁盘 4    联机             5120 MB  5118 MB

  磁盘 5    联机             5120 MB  5118 MB

 

DISKPART> select disk 1

 

磁盘 1 现在是所选磁盘。

 

DISKPART> Create part ext

 

DiskPart 成功地创建了指定分区。

 

DISKPART> Create part log

 

DiskPart 成功地创建了指定分区。

 

DISKPART> LIST DISK

 

  磁盘 ###  状态           大小     可用     Dyn  Gpt

  --------  -------------  -------  -------  ---  ---

  磁盘 0    联机               40 GB      0 B

* 磁盘 1    联机             2048 MB    64 KB

  磁盘 2    联机             5120 MB  5118 MB

  磁盘 3    联机             5120 MB  5118 MB

  磁盘 4    联机             5120 MB  5118 MB

  磁盘 5    联机             5120 MB  5118 MB

 

DISKPART> select disk 2

 

磁盘 2 现在是所选磁盘。

 

DISKPART> Create part ext

 

DiskPart 成功地创建了指定分区。

 

DISKPART> Create part log

 

DiskPart 成功地创建了指定分区。

 

DISKPART> select disk 3

 

磁盘 3 现在是所选磁盘。

 

DISKPART> Create part ext

 

DiskPart 成功地创建了指定分区。

 

DISKPART> Create part log

 

DiskPart 成功地创建了指定分区。

 

DISKPART> select disk 4

 

磁盘 4 现在是所选磁盘。

 

DISKPART> Create part ext

 

DiskPart 成功地创建了指定分区。

 

DISKPART> Create part log

 

DiskPart 成功地创建了指定分区。

 

DISKPART> select disk 5

 

磁盘 5 现在是所选磁盘。

 

DISKPART> Create part ext

 

DiskPart 成功地创建了指定分区。

 

DISKPART> Create part log

 

DiskPart 成功地创建了指定分区。

 

DISKPART> LIST DISK

 

  磁盘 ###  状态           大小     可用     Dyn  Gpt

  --------  -------------  -------  -------  ---  ---

  磁盘 0    联机               40 GB      0 B

  磁盘 1    联机             2048 MB    64 KB

  磁盘 2    联机             5120 MB  1024 KB

  磁盘 3    联机             5120 MB  1024 KB

  磁盘 4    联机             5120 MB  1024 KB

* 磁盘 5    联机             5120 MB  1024 KB

 

DISKPART> list vol

 

  卷 ###      LTR  标签         FS     类型        大小     状态       信息

  ----------  ---  -----------  -----  ----------  -------  ---------  --------

  卷     0     L                       DVD-ROM         0 B  无介质

  卷     1     C                NTFS   磁盘分区          15 GB  正常         系统

  卷     2     D                NTFS   磁盘分区          24 GB  正常

  卷     3                      RAW    磁盘分区        2046 MB  正常

  卷     4                      RAW    磁盘分区        5117 MB  正常

  卷     5                      RAW    磁盘分区        5117 MB  正常

  卷     6                      RAW    磁盘分区        5117 MB  正常

* 卷     7                      RAW    磁盘分区        5117 MB  正常

 

DISKPART>

 

 

可直接粘贴命令,若首次执行不用clean all磁盘:

select disk 1

clean all

select disk 2

clean all

select disk 3

clean all

select disk 4

clean all

select disk 5

clean all

 

 

 

select disk 1

Create part ext

Create part log

select disk 2

Create part ext

Create part log

select disk 3

Create part ext

Create part log

select disk 4

Create part ext

Create part log

select disk 5

Create part ext

Create part log

 

 

rac1的磁盘情况:

wps416A.tmp 

 

rac2上操作,执行automountenable即可,无需再分区与格式化:

Microsoft Windows [版本 6.1.7601]

版权所有 (c) 2009 Microsoft Corporation。保留所有权利。

 

C:\Users\Administrator>diskpart

 

Microsoft DiskPart 版本 6.1.7601

Copyright (C) 1999-2008 Microsoft Corporation.

在计算机上: rac2

 

DISKPART> automount enable

 

已经启用自动装载新卷。

 

DISKPART> list disk

 

  磁盘 ###  状态           大小     可用     Dyn  Gpt

  --------  -------------  -------  -------  ---  ---

  磁盘 0    联机               40 GB      0 B

  磁盘 1    联机             2048 MB  2046 MB

  磁盘 2    联机             5120 MB  5118 MB

  磁盘 3    联机             5120 MB  5118 MB

  磁盘 4    联机             5120 MB  5118 MB

  磁盘 5    联机             5120 MB  5118 MB

 

DISKPART>

DISKPART>  list vol

 

  卷 ###      LTR  标签         FS     类型        大小     状态       信息

  ----------  ---  -----------  -----  ----------  -------  ---------  --------

  卷     0     L                       DVD-ROM         0 B  无介质

  卷     1     C                NTFS   磁盘分区          15 GB  正常         系统

  卷     2     D                NTFS   磁盘分区          24 GB  正常

  卷     3     G                RAW    磁盘分区        2046 MB  正常

  卷     4     E                RAW    磁盘分区        5117 MB  正常

  卷     5     F                RAW    磁盘分区        5117 MB  正常

  卷     6     H                RAW    磁盘分区        5117 MB  正常

  卷     7     I                RAW    磁盘分区        5117 MB  正常

 

DISKPART>

DISKPART> select vol 4

 

卷 4 是所选卷。

 

DISKPART> remov

 

DiskPart 成功地删除了驱动器号或装载点。

 

DISKPART> select vol 5

 

卷 5 是所选卷。

 

DISKPART> remov

 

DiskPart 成功地删除了驱动器号或装载点。

 

DISKPART> select vol 6

 

卷 6 是所选卷。

 

DISKPART> remov

 

DiskPart 成功地删除了驱动器号或装载点。

 

DISKPART> select vol 7

 

卷 7 是所选卷。

 

DISKPART> remov

 

DiskPart 成功地删除了驱动器号或装载点。

 

DISKPART>  list vol

 

  卷 ###      LTR  标签         FS     类型        大小     状态       信息

  ----------  ---  -----------  -----  ----------  -------  ---------  --------

  卷     0     L                       DVD-ROM         0 B  无介质

  卷     1     C                NTFS   磁盘分区          15 GB  正常         系统

  卷     2     D                NTFS   磁盘分区          24 GB  正常

  卷     3                      RAW    磁盘分区        2046 MB  正常

  卷     4                      RAW    磁盘分区        5117 MB  正常

  卷     5                      RAW    磁盘分区        5117 MB  正常

  卷     6                      RAW    磁盘分区        5117 MB  正常

* 卷     7                      RAW    磁盘分区        5117 MB  正常

 

DISKPART>

 

 

 

 

直接执行命令:

select vol 3

remov

select vol 4

remov

select vol 5

remov

select vol 6

remov

select vol 7

remov

 

rac2的磁盘情况:

wps416B.tmp 

标签:RAC,MB,--,scsi1,windows,W2K8R2,磁盘,disk,DISKPART
来源: https://blog.51cto.com/lhrbest/2695732