主机被入侵分析过程报告

0x00 结论


14号上午接到同事报告,某主机cpu占用至100%并出现可疑进程,安全部接手调查后结论如下:

  1. 主机未限制端口访问,ssh端口暴露外网
  2. 外部大量ip(100+)对主机进行暴力破解,且从13号21:12分开始陆续有6外网ip成功验证ssh
  3. 验证成功后自动化程序部署后门,并加入至计划任务,第一个成功执行的恶意计划任务时间为22:21:01,发现多处后门,但比对后发现实际可执行文件有两个(通过部分行为及连接ip判断两个文件为同一伙人所留),其余只是文件名不同
  4. 14号上午由于恶意进程导致机器cpu占用100%,后门被发现

0x01 过程


分析过程如下:

登入主机后,找到可疑进程PID

p1

进入proc/进程目录找到对应文件绝对路径在/usr/bin目录下,stat信息如下:

#!bash
[[email protected] 13146]# stat /usr/bin/faksiubbri
  file: `/usr/bin/faksiubbri'
  Size: 610224          Blocks: 1200       IO Block: 4096   regular file
Device: 802h/2050d      Inode: 312739      Links: 1
Access: (0755/-rwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2015-01-14 10:33:13.000000000 +0800
Modify: 2015-01-14 10:29:06.000000000 +0800
Change: 2015-01-14 10:29:06.000000000 +0800

[[email protected] 13862]# stat /usr/bin/ohzxttdhqk
file: `/usr/bin/ohzxttdhqk
Size: 625622          Blocks: 1232       IO Block: 4096   regular file
Device: 802h/2050d      Inode: 312741      Links: 1
Access: (0755/-rwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2015-01-14 10:32:59.000000000 +0800
Modify: 2015-01-14 10:29:26.000000000 +0800
Change: 2015-01-14 10:29:26.000000000 +0800

初步判断入侵时间在14号上午10:29分附近并且已有root权限

通过strings查看文件内容发现远程ip及其他信息

p2

搜索ip发现为香港主机,并且在微博上发现如下信息

p3

结合strings其他信息,确定该文件为恶意程序,目前首先要判断攻击者通过什么途径入侵进来,此处绕了一些弯路,原因如下几点:

  1. 服务器运行了web、ftp服务,但非root权限
  2. last并未发现异常登录信息、history未发现可疑操作、且默认ssh端口禁止对外开放,故忽视了ssh入侵的判断
  3. 服务器存在bash漏洞,导致怀疑是bash漏洞+提权、但未发现可疑的accesslog
  4. 此前stat文件判断时间有误,事后发现管理员之前有kill程序进程操作,进程结束后会删除自身并生成新的文件,所以stat到的时间信息其实是管理员kill进程的时间

后来有同事在网上查到该ddos后门通过ssh暴力破解方式传播,才重新把目光放到ssh。与相关人员确认得知,服务器由于特殊原因对外开放了22端口,并且机器为弱口令,结合此信息,推测服务器为暴力破解ssh入侵,故排查secure日志

p4

6台外网主机有ssh验证成功记录,时间在13号21:12至23:59分之间,其中ip118.193.199.132与ip104.149.220.27在secure日志中无密码错误记录,推测为使用其它主机暴力破解,成功后返回密码使用其余主机登录

查看cron日志发现每3分钟会执行两个恶意脚本

/etc/cron.hourly/cron.sh
/etc/cron.hourly/udev.sh

cron.sh文件内容如下

p5

其中/lib/libgcc.so通过文件大小及strings部分内容基本确定与/usr/bin下的恶意程序ohzxttdhqk相同

udev.sh文件内容如下

p6

其中/lib/libgcc4.so通过文件大小及strings部分内容基本确定与/usr/bin下的恶意程序faksiubbri相同

分别查看第一次执行计划任务时间如下

p7

p8

时间上与暴力破解成功时间吻合,基本可判断后门程序通过ssh途径被植入

查看secure日志,取之前发现ip成功验证ssh至断开连接时间差,结果如下

221.235.189.229

p9

62.210.180.180

p10

103.41.124.48

p11

118.193.199.132

p12

175.126.82.235
Jan 13 23:22:23成功认证后无断开信息

104.149.220.27

p13

通过成功验证ssh至断开连接时间差可看到221.235.189.229、62.210.180.180、103.41.124.48时间差为0,推测暴力破解成功后无其他举动,那么结合计划任务运行时间与时间差信息可判断种植后门的两个ip应该为118.193.199.132与175.126.82.235

但118.193.199.132时间差也仅有5秒钟时间,人工很难完成种植后门的操作,由此判断是自动化程序完成

0x02 疑点


目前疑点主要为不清楚后门通过什么方式被部署进来?

验证发现通过scp远程拷贝文件至主机与ssh登录后退出都会产生Received disconnect的日志,如果通过ssh自动化部署,last为何会看不到记录?是否单独清除了相关记录?如果是scp远程拷贝,是通过什么方式执行程序的?目前暂不知晓通过何种方式可以仅将文件放入机器后可以让程序自动执行,是否还有其他部署方式?

0x03 改进建议


  1. 排查其他主机是否有重要端口对外
  2. 排查其他主机是否存在恶意文件,可注意以下几点:

    1. /etc/init.d/目录下是否存在10位随机字母文件名的文件
    2. /etc/rc%d.d/S90+10位随机字母文件名的文件(%d为0-5数字)
    3. 是否存在/etc/cron.hourly/udev.sh
    4. 是否存在/etc/ cron.hourly/cron.sh
    5. /etc/crontab中是否存在可疑计划任务
    6. /usr/bin目录下是否存在10位随机字母文件名的文件
  3. 修复主机bash漏洞

  4. 增加主机密码复杂度(包括重要端口不对外主机)

  5. 针对异常情况主机,安全人员排查前尽量不要有操作,如果需要对文件有操作,一定要先保存stat信息结果,备份文件内容,修改密码/新建账户/删除账户前一定要先stat /etc/passwdstat /etc/shadow并保存执行结果

0x04 题外话


以上内容为之前对公司层面写的一份应急响应报告,大家可以参考下流程,有一点需要改正的是判断入侵途径这里因为主观判断认为不会是ssh入侵导致浪费了不少时间,在分析过程陷入瓶颈的时候,应该以多看日志为主,而非大脑空想,最后补充几个linux下应急响应中常用到的一些思路和命令,希望对大家有所帮助

web入侵

web类入侵事件可结合以下几点排查:

  1. 记录后门文件stat信息,判断入侵发生时间,另外需要与accesslog做对比,判断是否为第一个后门。
  2. 查找入侵者放置的其他后门可通过已知后门文件的mtime、文件内容等可作为特征查找,也可以与svn、此前备份文件做比对或者打包web目录文件使用一些webshell查杀软件。
  3. 查找一天内修改过的文件命令

    #!bash
    find /home/work –mtime -1 –type f
    
  4. 查找系统中包含指定字符的所有文件(可以拿已知shell密码及特定字符作为关键字)

    #!bash
    find /|xargs grep -ri "Bot1234" -l 2>/dev/null(执行后会改变所有文件的atime,请做完5中提到的点之后操作)
    
  5. 查看较大的日志文件时,可先通过fgrep指定字符筛选,比如已知shell文件为conf.php,可通过命令fgrep –a ‘conf.php’ accesslog > conf_access来筛选conf.php的访问记录,如果为一些高危漏洞,也可根据漏洞利用的关键字来筛选,通过第一步筛选结果后可找出入侵者ip等信息,可继续通过这些信息在accesslog中找到攻击者的所有访问记录以便进一步排查

  6. 判断影响时,当webshell操作为post且无流量镜像时,判断一些敏感文件如源码打包文件、包含密码信息文件是否被读取可通过文件atime信息来判断,此外对webshell的请求条数以及返回的字节数都可以作为定损的大概依据

非web方式入侵

主要通过其他高危服务,目前遇到的案例中大多属于ssh对外且弱口令的情况,主要结合syslog判断

此外,可结合以下几点排查:

  1. 判断服务器是否支持访问外网,如支持,通过netstat –an查看是否已与外部可疑服务器建立连接,如已建立需及时断开
  2. 记录后门文件stat信息,根据mtime查找其他后门文件,同时根据文件属组与属组对应运行服务判断入侵方式
  3. 如果权限组为root,需要检测是否被种rootkit,rootkit检测可使用rkhunter:http://rkhunter.sourceforge.net/
  4. 非web类后门,大部分人习惯把恶意文件放置在/tmp目录下,此外可通过可疑进程名与cpu占用率排查,有些后门会伪装正常进程名,但是top命令可通过cpu占用率找出后门进程,获取进程pid后可cd到/proc/对应pid目录,ls –al查看exe对应值可得知文件路径,另外可查看计划任务,后门程序为保证自启动往往会添加新的计划任务

©乌云知识库版权所有 未经许可 禁止转载


30
很详细 2016-03-20 17:47:46

很详细

30
HRay 2016-03-15 10:33:17

@pangshenjie 这篇报告是14年写的,当时这台机器处于一个比较特殊的位置,厂里安全审计的东西在那都还没部署,是个比较遗憾的事

30
pangshenjie 2016-03-15 09:41:55

xorddos马,登陆ssh会wget下来执行。看下bash记录或者查下out方向的历史流量应该就可以找到。

30
小红猪 2016-03-14 10:05:23

rkhunter其实没多大用处,还是靠自己排查

30
小红猪 2016-03-14 10:03:57

曾经在清除多个后门后发现还有新的同类后门产生(已断网),最后发现是ps、netstat、lsof等被替换了,哈哈哈哈...所以应急时最好别用服务器上自带的这些命令。而是准备一份和当前服务器操作系统兼容的常用命令。

30
HRay 2016-03-12 16:49:39

@xxx 哈哈,好久没聚了,改天请大家吃饭

30
xxx 2016-03-12 07:21:44

后续可以看看
首先从功能上看,第一反应就该是SSH bruteforce,这类的DDOS僵尸网络建立,走webshell效率太低,而且权限对不上
ssh进来以后的文件权限和webshell传的以及ftp进程,由于umask不同,文件的权限设置是不同的
注意看下inode的连续性分配
scp造成的日志差异,你可以以不同的账户试试,root和普通账户的scp日志是不一样的
现在很多远程植入也有用ssh 后cat的方式搞,这在行为上也是不一致的

嘿嘿,你知道我是谁

30
JoyChou 2016-03-11 23:01:11

xorddos,可以放个查杀脚本

30
小饼仔 2016-03-11 12:19:47

有记录bash命令日志的话就好排查了。

目前暂不知晓通过何种方式可以仅将文件放入机器后可以让程序自动执行,是否还有其他部署方式?

5秒连接时间,可以直接执行程序,或者写到crontab里都可以执行

30
HRay 2016-03-11 11:58:33

改进建议里少写了重要的一点,已发现存在后门的主机重装系统,列出的几个恶意特征只是为了排查其他主机是否有被搞,已经被搞的就老老实实重装吧

30
瘦蛟舞 2016-03-11 11:42:21

66666

30
Vinc 2016-03-11 11:23:29

昊哥鞭辟入里

30
橙色记忆 2016-03-11 11:21:40

十字符病毒去年发现好多,赞一个。

感谢知乎授权页面模版