从网站源码中抓取嵌入图片的技巧解析
如何从源代码中提取网页内的图片
怎么通过网页源代码提取网页中的图片？
目前可在网页源代码中定位到图片的链接，随后在新窗口中浏览图片并保存。
1.右键点击目标图片，在弹出的菜单中选择“检查”打开控制台：
2.此时控制台将跳转至图片的原始位置，将鼠标悬停于链接上即可查看图片的缩略图。此时，右键点击图像链接，然后点击“在新标签中打开”按钮，在新窗口中查看图像：
3.图片在新窗口中打开后，右键点击打开的图片，然后点击“图片另存为...”按钮保存图片：
如何获取网页的源代码？
打开目标网页，右击鼠标会出现查看网页源代码（快捷键ctrl+u）,全选复制（全选快捷键ctrl+a复制快捷键ctrl+c），在本地电脑上粘贴到新建一个以.html结尾的文档中，保存后点击查看即可。
网页设计如何将图片放置在指定位置？
1.构思。
2.获取图片链接。
若自行上传，完成后点击显示源代码，复制图片链接备用。
若为网络图片，右击点击“属性”，复制图片链接备用。
3.进入编辑。
进入自己的网站或博客后台，并使编辑器处于代码编辑状态。
粘贴代码：
4.修改代码。
将本文第二步备用的两个图片链接分别添加到本文第三步相应位置，并修改宽（width）和高（height）。
5.调整小图片位置。
这是制作的关键代码
调整上边的值，即可实现定位。
6.装饰。
还可对整体进行装饰。例如加边框，会有立体感。加入代码“border=10”即可（10可以调整）。
如何获取网页源代码中的文件？
网页源代码是父级网页的代码网页中有一种节点叫iframe，也就是子Frame，相当于网页的子页面，其结构和外部网页的结构完全一致，框架源代码就是这个子网页的源代码。另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame里面的操作，而此时如果页面中还有子frame，它是不能获取到子frame里面的节点的，这是需要用swith_to.frame()方法来切换frame，这时请求得到的代码就从网页源代码切换到了框架源代码，然后就可以提取我们所需的信息。
如何使用webbrowser控件获取网页源代码？
认真你：
嗯，这个问题很常见。抓取网页内容
VB来做，可以。现在都不怎么有人用VB了，这里以VB6.0为例子
告诉你思路吧:
你打开的网页就是你下载的一篇文档。VB可以用一个浏览器控件，来获取它的内容
控件名叫WebBrowser，拖一个这个控件到窗体
获得网页的内容
这就是一个抓取网页的例子
更多内容，你得去学学HTML解析，以及参考
VB关于webbrowser相关操作大全
一个网页源代码如何获取？
打开你要获取的源代码，右击鼠标会出现查看网页源代码（快捷键ctrl+u）,全选复制（全选快捷键ctrl+a复制快捷键ctrl+c），在本地电脑上粘贴到新建一个以.html结尾的文档中，保存后点击查看即可。
如何用 Python 爬取需要登录的网站
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。
在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。
教程中的代码可以从我的Github中找到。
我们将会按照以下步骤进行：
提取登录所需的详细信息
执行站点登录
爬取所需的数据
在本教程中，我使用了以下包（可以在requirements.txt中找到）：
Python
1
2
requests
lxml
步骤一：研究该网站
打开登录页面
进入以下页面“bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）
仔细研究那些我们需要提取的详细信息，以供登录之用
在这一部分，我们会创建一个字典来保存执行登录的详细信息：
1.右击“Username or email”字段，选择“查看元素”。我们将使用“name”属性为“username”的输入框的值。“username”将会是 key值，我们的用户名/电子邮箱就是对应的 value值（在其他的网站上这些 key值可能是“email”，“ user_name”，“ login”，等等）。
2.右击“Password”字段，选择“查看元素”。在脚本中我们需要使用“name”属性为“password”的输入框的值。“password”将是字典的 key值，我们输入的密码将是对应的 value值（在其他网站key值可能是“userpassword”，“loginpassword”，“pwd”，等等）。
3.在源代码页面中，查找一个名为“csrfmiddlewaretoken”的隐藏输入标签。“csrfmiddlewaretoken”将是 key值，而对应的 value值将是这个隐藏的输入值（在其他网站上这个 value值可能是一个名为“csrftoken”，“authenticationtoken”的隐藏输入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。
最后我们将会得到一个类似这样的字典：
Python
1
2
3
4
5
payload={
"username":"<USER NAME>",
"password":"<PASSWORD>",
"csrfmiddlewaretoken":"<CSRF_TOKEN>"
}
请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key值和 value值。
步骤2：实施登录网站
针对本脚本，我们仅需引入以下内容：
Python
1
2
import requests
from lxml import html
首先，我们需要构建session对象。此对象将允许我们保存所有登录会话请求。
Python
1
session_requests= requests.session()
其次，我们需要从该网页中提取登录时所需的csrf标记。在本例中，我们使用lxml和xpath进行提取，我们同样可以使用正则表达式或其他方法来提取这些数据。
Python
1
2
3
4
5
login_url="n/?next=/"
result= session_requests.get(login_url)
tree= html.fromstring(result.text)
authenticity_token= list(set(tree.xpath("//input[name='csrfmiddlewaretoken']/value")))[0]
**更多关于xpath和lxml的信息可以在此处查阅。
接下来，我们需要执行登录环节。在这一环节，我们向登录的url发送一个POST请求。我们使用之前步骤中创建的payload作为data，也可以为该请求设置一个标题，并在标题中为该url添加一个参照键。
Python
1
2
3
4
5
result= session_requests.post(
login_url,
data= payload,
headers= dict(referer=login_url)
)
步骤三：抓取数据
现在，我们已经成功登录，我们将从bitbucket仪表板页面上执行实际的抓取操作。
Python
1
2
3
4
5
url='/overview'
result= session_requests.get(
url,
headers= dict(referer= url)
)
为了测试上述内容，我们从bitbucket仪表板页面抓取了项目列表。我们将再次使用xpath来查找目标元素，清除新行中的文本和空格并打印出结果。如果一切顺利，输出结果应该是你bitbucket账户中的buckets/project列表。
Python
1
2
3
4
5
tree= html.fromstring(result.content)
bucket_elems= tree.findall(".//span[class='repo-name']/")
bucket_names= [bucket.text_content.replace("n","").strip() for bucket in bucket_elems]
print bucket_names
你还可以通过检查每个请求返回的状态码来验证这些请求结果。它并不总是能让你知道登录环节是否成功，但它可以作为一个验证指标。
例如：
Python
1
2
result.ok#会告诉我们最后一次请求是否成功
result.status_code#会返回给我们最后一次请求的状态
